PHPCURL获取cookies模拟登录的方法

要提取google搜索的部分数据，发现google对于软件抓取它的数据屏蔽的厉害，以前伪造下 USER-AGENT 就可以抓数据，但是现在却不行了。利用抓包数据发现，Google 判断了 cookies，当你没有cookies的时候，直接返回 302 跳转，而且是连续几十个302跳转，根本抓不了数据。

目前创新互联公司已为1000多家的企业提供了网站建设、域名、虚拟空间、网站托管、服务器托管、企业网站设计、徐州网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

因此，在发送搜索命令时，需要先提取 cookies 并保存，然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理，先POST登录，获取cookies并保存，然后利用这个cookies访问就可以了。

PHP 代码如下：

$login_url = 'XXX';

$post_fields['email'] = 'XXXX';

$post_fields['password'] = 'XXXX';

$post_fields['origURL'] = 'XXX';

$post_fields['domain'] = 'xxx.com';

//cookie文件存放在网站根目录的temp文件夹下

$cookie_file = tempnam('./temp','cookie');

$ch = curl_init($login_url);

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5');

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_MAXREDIRS, 1);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt($ch, CURLOPT_AUTOREFERER, 1);

curl_setopt($ch, CURLOPT_POST, 1);

curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);

curl_exec($ch);

curl_close($ch);

//带上cookie文件，访问需要访问的页面

$send_url='xxx.com';

$ch = curl_init($send_url);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);

$contents = curl_exec($ch);

curl_close($ch);

//清理cookie文件

unlink($cookie_file);

//输出网页内容

print_r($contents);

在temp文件夹下保存一个cookie前缀的临时文件,例如:coo3A98.tmp文件

打开这个文件得到如下代码:

PHP CURL获取cookies模拟登录的方法

要使用php来格式化该文件,使用以下代码就能实现

$cookie_folder = dirname(__FILE__)."/temp";

$lines = file($cookie_folder.'/coo3A98.tmp');

$trows = '';

foreach($lines as $line) {

if($line[0] != '#' && substr_count($line, "\t") == 6) {

$tokens = explode("\t", $line);

$tokens = array_map('trim', $tokens);

$tokens[4] = date('Y-m-d h:i:s', $tokens[4]);

$trows .= '' . implode('', $tokens) . '' . PHP_EOL;

}

echo '

'.PHP_EOL.''.PHP_EOL.$trows.''.PHP_EOL.'

运行之后就如下图所示,已经被写入到table当中

PHP CURL获取cookies模拟登录的方法

大功告成,如果只读取其中字段可自行修改即可。

文章标题：PHPCURL获取cookies模拟登录的方法
链接地址：http://ybzwz.com/article/jgjspp.html

PHPCURL获取cookies模拟登录的方法

其他资讯