如何实现较高效率网页内容抓取

报告下：
现用stream_socket_client，问题基本解决，只是不太熟悉，还在摸索中

解决方案 »

  1.   

    好象没见PHP有多线程吧，高效率也只是用socket方面的知识效率应该会高点!
      

  2.   

    通过java扩展实现，这是一种思路。
      

  3.   

    如果你说的多线程是指同时抓取多个页面的话，php是可以的。
      

  4.   

    回7楼
    我知道没真正多线程，所以加了引号的
    同时抓取多个页面，是勉为其难的办法，最佳的是多个进程错开时间调度，合理分配资源
    现在是stream_socket_client同时连几十个页面，访问频率上是没问题了，但是资源也在一瞬间利用，接着完全空闲
    因环境所限，只能php
      

  5.   

    如果php能实现异步的话，就可以实现多进程！
      

  6.   

    curl扩展里面有多线程抓取函数,但用下来效果不好