PHP curl实现抓取302跳转后页面的示例

前端之家收集整理的这篇文章主要介绍了PHP curl实现抓取302跳转后页面的示例前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

PHP的CURL正常抓取页面程序如下:

PHP;"> $url = 'http://www.baidu.com';

$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_VERBOSE,true);
curl_setopt($ch,CURLOPT_HEADER,true);
curl_setopt($ch,CURLOPT_NOBODY,CURLOPT_CUSTOMREQUEST,'GET');
curl_setopt($ch,CURLOPT_RETURNTRANSFER,CURLOPT_TIMEOUT,20);
curl_setopt($ch,CURLOPT_AUTOREFERER,CURLOPT_FOLLOWLOCATION,true);
$ret = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);

如果你抓取到的是302状态,是因为再抓取的过程中,有的跳转需要给下一个链接传递参数,而下一个链接同时也设置了如果没接收到相应的参数是为非法访问。

PHP;"> curl_setopt($curl,'GET');

显示就应该正常了。

上面用来抓取功能,几乎应该没问题的。你可以查一下CURLOPT_CUSTOMREQUEST相关资料。

使用一个自定义的请求信息来代替”GET”或”HEAD”作为HTTP请求。这对于执行”DELETE” 或者其他更隐蔽的HTTP请求。有效值如”GET”,”POST”,”CONNECT”等等。也就是说,不要在这里输入整个HTTP请求。例如输入”GET /index.html HTTP/1.0\r\n\r\n”是不正确的。

原文链接:https://www.f2er.com/php/24241.html

猜你在找的PHP相关文章