请教 寻找PHP采集大量网页高效可行的方法 本帖最后由 oasisxp 于 2014-08-25 13:45:08 编辑 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 本帖最后由 PhpNewnew 于 2014-08-27 22:09:20 编辑 应该是xiami.com服务器有限制,禁止采集吧1,每个url请求只采10-20打,然后做个跳转在继续采集,这样也可以防止页面超时,如果你在虚机上运行,长时间点用cpu,进程可能会被kill.2,每次url请求header中的user-agent,cookies,最好都能改一下。3,如果还不行,用火车头试试吧!4,如果火车也不行,那就放弃这个站吧! 把foreach拆分成循环执行同一页面。第一次浏览器或者cronrab定时执行 http://localhost/caiji.php?num=1 每次完成后,$_GET['num']+1;curl 重复l执行同一脚本,当$_GET['num']==1000后,退出,不再执行curl。if($_GET['num']){$url = 'http://www.xiami.com/song/'.$_GET['num'];//你的代码$_GET['num'])++;}if($_GET['num']<1001){ $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,"http://localhost/caiji.php?num=".$_GET['num'])); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT ,2); curl_setopt($ch, CURLOPT_TIMEOUT ,2); curl_exec($ch); curl_close($ch);}else{ exit;} 请问怎么把txt文件导入到mysql里面 请教高手!下载好了Apache请问如何配置Apache?谢谢! 初学者, Zend Studio 8 要怎么调试啊? 求助 一个字段问题。 php数组循环嵌套的问题 js 变态的写法,高人出山来帮忙哦 关于上传文件的疑惑 如何使用php input流上传图片 为什么我用session_start()报错? 很奇怪的问题??? PHP初学者,请教关于从数据库读取后输出会乱码的情况 php如何接收json
第一次浏览器或者cronrab定时执行 http://localhost/caiji.php?num=1 每次完成后,$_GET['num']+1;curl 重复l执行同一脚本,当$_GET['num']==1000后,退出,不再执行curl。if($_GET['num']){
$url = 'http://www.xiami.com/song/'.$_GET['num'];
//你的代码
$_GET['num'])++;
}
if($_GET['num']<1001){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,"http://localhost/caiji.php?num=".$_GET['num']));
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT ,2);
curl_setopt($ch, CURLOPT_TIMEOUT ,2);
curl_exec($ch);
curl_close($ch);
}else{
exit;
}