取网 不惜一切代价要快！

本帖最后由 ewing333 于 2010-12-22 13:07:00 编辑

解决方案 »

  1.   

    你写的 基本就是目前的php的最好的方法了，
    更好的，目前我还没看到过。
      

  2.   

    同一个网站，用C++和PHP，效果差别很大。
      

  3.   

    取网  是不是就是抓取？~？~~多开几个进程不就行了么？我们项目里 接近15万个站点需要跑 同样是php做的···不是也做了么 对不对··
      

  4.   

    非要用php做你说的"取网项目",建议你看看php的模拟多线程!
      

  5.   

    既然服务器在手里，就不要用PHP了
      

  6.   

    ajax + php嘛.js/ ajax异步执行php
    for ....
    php
    curl不用什么线程啊for啥的.新手做代码就行了
    结果保存数据库.这样不用等.php又不会冲突
      

  7.   

    php也支持多线程，用fork，不过没有做过
      

  8.   

    同时取4页以上，就有的页面取不到：
    以前用vba做过一个抓取网页数据的，那个网页量很大，上万网页。vba本身不支持多线程，但用xmlhttp的异步连接可以达到多线程的效果。同时有效并发的也就是5个左右，再多的其实是在后面排队，所以并发多的话，有些一直没排上队，就会超时返回空白。curl应该也有异步和同步连接两种方式，异步并发5个应该还是没问题的吧……没试……
    可以考虑用ajax和curl配合，ajax用的也是xmlhttp，可以异步，这样就相当于curl多线程了……
      

  9.   

    原来是网络问题，因为取香港的网。 用curl多线程 香港服务器取：10个页面也就0.2秒左右。内陆服务器,取多了容易堵塞或timeout.谢谢楼上各位。