今天做采集功能测试时,不知道为什么。到下午采集不到页面数据了
不晓得是不是 file_get_contents 读取信息时,让服务器知道这是采集而禁止了访问 以前看到一篇文章好象说的是 构造一段头文件信息发送给服务器就可以解决了
不知道这段头文件信息要怎么构造。有知道的朋友帮忙说下今天从上午十点采集到下午两点左右的时候,只采集到了 370M 图片和 1000条信息
这采集速度应该不会让服务器有很大的资源消耗吧如果有朋友有其它办法,也请指点一下。谢谢!