在爬取http://news.fblife.com/时遇到个问题,抓取这个网站时只能抓回16K之后就一直等待,继续发帖求教。
注:非广告贴

解决方案 »

  1.   

    你是如何知道 抓回16K的?
    在一个 http 交互尚未完成时是不可鞥得到中间结果的,如果强制中断连接,只能得到空
    如果你是在循环中发起 http 请求的,那么你本该写好退出循环的机制
      

  2.   

    curl有个curl_setopt($ci, CURLOPT_RANGE, "0-16000");选项,可以设置请求文件的哪一部分,或者使用wget也可以看出是16K
      

  3.   

    也或者设置curl_setopt($ci,CURLOPT_NOPROGRESS,FALSE);显示出执行进度