java下载网页的程序 我打算下载几万张url有规律的html网页到本地(可以以html或是txt的方式存储),用java编写了一个通过文件流的方式下载网页的类,试了一下,一个600多kb的网页,用程序下载到本地就要好几分钟,请教高手,如何进行效率上的优化呢?之前本打算用Heritrix进行网页抓取下载,但由于设置上的问题,不能很好的执行下载,请问有什么办法么?谢谢!qq:173635235
msn:[email protected]问题补充:我是要通过编程的方式实现自动化,以利于后面的操作,所以除非使用Heritrix之类的网络抓取器,尽量使用编程的方法
msn:[email protected]问题补充:我是要通过编程的方式实现自动化,以利于后面的操作,所以除非使用Heritrix之类的网络抓取器,尽量使用编程的方法
楼主【bisal】截止到2008-07-11 18:03:59的历史汇总数据(不包括此帖):
发帖的总数量:1 发帖的总分数:0 每贴平均分数:0
回帖的总数量:1 得分贴总数量:0 回帖的得分率:0%
结贴的总数量:0 结贴的总分数:0
无满意结贴数:0 无满意结贴分:0
未结的帖子数:1 未结的总分数:0
结贴的百分比:0.00 % 结分的百分比:---------------------
无满意结贴率:---------------------无满意结分率:---------------------
如何结贴请参考这里:http://topic.csdn.net/u/20080501/09/ef7ba1b3-6466-49f6-9d92-36fe6d471dd1.html