使用idhttp组件做的网络爬虫,运行后处于time_wait状态的数量太多

Question

使用delphi的idhttp组件做的多线程网络爬虫,运行后循环的获取网页，结果造成很多time_wait状态的连接，造成网络访问不了，
网络爬虫也无法继续获取到数据有什么办法可以解决这个问题么

Answer 1

这个不是层数的问题
爬行的话肯定会要爬很多网页但是每爬一个网页，网络连接里面就多一个time_wait连接
虽然等待3分钟就会自动消失但是3分钟内要爬行的数量可能要成千上万个网页
这么多time_wait，会直接让电脑网络断开了idhttp的原因，有什么办法解决么，我现在用的是这个控件做的爬虫。

Answer 2

Delphi做爬虫？搂住进展到什么程度了
----------------------------------------------------------------------------------
xule即时通讯软件，可定制的P2P即时通信系统为各行业门户网站和企事业单位打造一个稳定，安全，高效，可扩展的即时通信系统，类似QQ、贸易通和淘宝旺旺（可提供技术资料和源码）
介绍：http://www.xulesoft.cn
QQ：1196435261

Answer 3

Windows系统的话，在注册表中HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters下添加名为TcpTimedWaitDelay的键，将这个键值设置的小一点，可以缓解这个问题（据我所知，只能缓解，无法避免）