采集时间过长，php脚本超时

Question

首先我设置了个采集链接的来源表
id 网站url
1  http://www.163.com
2  http://www.sohu.com
……然后通过循环取采集这些网站的内容getcontent，然后通过正则分析出链接插入到数据库中这样来源表一长～就出现了：Fatal error: Maximum execution time of 30 seconds exceeded in就算我把超时改成30minutes，来源表很长很长还是不行，求教怎么处理比较好点

Answer 1

set_time_limit(0);
或者每次循环set_time_limit(xx);xx够一次循环即可，使用这个函数的时候timer会被reset
当然还是推荐采集一些跳转一下

Answer 2

比如说一次采集10个，那就跳转到xx.php?start=11再下次start=21

Answer 3

php的采集还是有限制，还是cs做一个吧，我想偷懒，但是越偷越多

Answer 4

那你就set_time_limit(0)，如果用网页访问的话还要加上ignore_user_abort，这样把页面关掉都没关系，只要服务器不重启就自己在后面跑
至于限制，那就看服务器设置了，一般支持了curl的都很好采

Answer 5

没有做过采集，不明白为什么要跳转。光设置set_time_limit(0)有什么问题吗？是要释放内存吗？