用ICS组件写的多线程网络爬虫,无论开5线程,10线程,20线程,每次下载了500多个页面的时候就会出现ping不通网关现象,而且是局域网内机器都ping不通,很显然是路由器丢包故障,但过10多秒后,又恢复正常,接着500个页面后再次发生,非常有规律性,虽然用些技术手段,让爬虫支持断点续爬,解决了问题.但总觉得这是程序质量不高造成了,没什么解决头绪,希望听听大家的意见
路由器是d-link的无线路由,刚买2个月,下迅雷就不会出现丢包现象,其他网络应用正常,无论网线接入还是无线接入情况依旧.
哪位仁兄对爬虫比较有经验的,希望讨论下,是否你们的爬虫也遇到过这些问题,随便散点分

解决方案 »

  1.   

    感谢unsigned 的回答每次下载接受,保存了文件后,都释放了http对象,难道还在占用连接?每500个页面后,局域网内所有机器都ping不通网关,过十多秒后又正常我发现如果下载大文件,就不会这样,下载小文件,频繁建立连接就会周期性网络不正常
      

  2.   

    为什么要释放http对象?不能重用吗?
      

  3.   

    是否重用HTTP对象,实际上只是对内存压力的影响,并不影响网络接口.