用ICS组件写的多线程网络爬虫,无论开5线程,10线程,20线程,每次下载了500多个页面的时候就会出现ping不通网关现象,而且是局域网内机器都ping不通,很显然是路由器丢包故障,但过10多秒后,又恢复正常,接着500个页面后再次发生,非常有规律性,虽然用些技术手段,让爬虫支持断点续爬,解决了问题.但总觉得这是程序质量不高造成了,没什么解决头绪,希望听听大家的意见
路由器是d-link的无线路由,刚买2个月,下迅雷就不会出现丢包现象,其他网络应用正常,无论网线接入还是无线接入情况依旧.
哪位仁兄对爬虫比较有经验的,希望讨论下,是否你们的爬虫也遇到过这些问题,随便散点分
路由器是d-link的无线路由,刚买2个月,下迅雷就不会出现丢包现象,其他网络应用正常,无论网线接入还是无线接入情况依旧.
哪位仁兄对爬虫比较有经验的,希望讨论下,是否你们的爬虫也遇到过这些问题,随便散点分
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货