1、程序类似myip.cn/wanben.net ,他的站可以在3秒内采集出wanben.net的所有信息。2、我通过php也可以完成采信wanben.net的全部信息,但速度太慢,如
   采集网站title
   采集alexa信息
   采集域名信息
   采集服务器信息,
 
   我通过php写的程序,要顺序执行所有代码。所以时间很长,全部采集完成要15秒左右而myip.cn采集上面同样多的信息,用时3秒左右。
高手请回答,是用php+ajax还是用的php同步批量采集做的,请给出原理我的站wanben.net采集全是我自己 写的,现在就要是实现大批量快速采集并返回值。

解决方案 »

  1.   

    官方CURL中文文档:curl_setopt
      

  2.   

    问下楼主,如果网络环境不好,或者网站数据量大,或者php程序结构执行比较费时间,php执行超时怎么办?
      

  3.   


    我就是忘记说了,我就是用php curl写的采集,请根据我的问题回答
    采集网站title
    采集alexa信息
    采集域名信息
    采集服务器信息想同时进行怎么办??????????
      

  4.   


    采集网站title
    这个很简单,在获取到数据后直接正则即可取出。采集alexa信息
    这个需要向alexa发送查询即可获取到数据,建议和获取TITLE的操作分开。采集域名信息
    这一步也同样需要发送查询命令,建议也分开做采集服务器信息
    服务器信息只能获取到很少的一部分,例如一些头信息,大部分是获取不到的
    想要加快速度的话,建议将一系列操作通过一定的方法关联起来,然后再分步执行,这样速度会有比较明显的提高
      

  5.   

    我测试了一下
    首次在 myip.cn上检索wanben.com耗时16秒(当然,我的电脑显示有点慢)
    再次在 myip.cn上检索仅仅两秒所以可以肯定myip.cn用了缓存,你后来看到的检索结果都是从缓存中调出的,所以很快。
      

  6.   

    我自己解决了谢谢大伙的思路,看看我空间的办法
    http://hi.baidu.com/dalianufo/blog/item/c70ef1d9a1a92a3f10df9b0a.html
      

  7.   

    http://www.chaiba.com 也很快的,原理类似
      

  8.   

    如果url下面还有子链接呢?例如http://news.ifeng.com/mil/,下面还有子栏目,子链接,该怎么办呢?