我在做一个网络爬虫，功能是通过网址爬去该网页内的内容，网址有上万条记录，我用多线程来爬取。
使用了httpclient来创建网络连接，用util.concurrent包里面的executor俩创建一个线程池，将创建的线程队列（任务队列）交给执行线程（run（））来执行，再将执行线程队列放到executor里面，自动分配。
情况：
当总的网址记录数少的时候无论每个线程内的任务队列（要执行的网址记录数量A）大小和线程队列数量大小（B），线程都不会死掉，但是当前面变量B增大时，相应得线程队列增大时，线程会死掉。请问有没有高手帮一把小弟，看问题出在哪里，如果需要源代码请回铁，我会贴出来，十分感谢，急急
使用了httpclient来创建网络连接，用util.concurrent包里面的executor俩创建一个线程池，将创建的线程队列（任务队列）交给执行线程（run（））来执行，再将执行线程队列放到executor里面，自动分配。
情况：
当总的网址记录数少的时候无论每个线程内的任务队列（要执行的网址记录数量A）大小和线程队列数量大小（B），线程都不会死掉，但是当前面变量B增大时，相应得线程队列增大时，线程会死掉。请问有没有高手帮一把小弟，看问题出在哪里，如果需要源代码请回铁，我会贴出来，十分感谢，急急
解决方案 »
免费领取超大流量手机卡，每月29元包185G流量+100分钟通话, 中国电信官方发货