java下载网页的程序    我打算下载几万张url有规律的html网页到本地(可以以html或是txt的方式存储),用java编写了一个通过文件流的方式下载网页的类,试了一下,一个600多kb的网页,用程序下载到本地就要好几分钟,请教高手,如何进行效率上的优化呢?之前本打算用Heritrix进行网页抓取下载,但由于设置上的问题,不能很好的执行下载,请问有什么办法么?谢谢!qq:173635235
msn:[email protected]问题补充:我是要通过编程的方式实现自动化,以利于后面的操作,所以除非使用Heritrix之类的网络抓取器,尽量使用编程的方法

解决方案 »

  1.   

    此回复为自动发出,仅用于显示而已,并无任何其他特殊作用
    楼主【bisal】截止到2008-07-11 18:03:59的历史汇总数据(不包括此帖):
    发帖的总数量:1                        发帖的总分数:0                        每贴平均分数:0                        
    回帖的总数量:1                        得分贴总数量:0                        回帖的得分率:0%                       
    结贴的总数量:0                        结贴的总分数:0                        
    无满意结贴数:0                        无满意结贴分:0                        
    未结的帖子数:1                        未结的总分数:0                        
    结贴的百分比:0.00  %               结分的百分比:---------------------
    无满意结贴率:---------------------无满意结分率:---------------------
    如何结贴请参考这里:http://topic.csdn.net/u/20080501/09/ef7ba1b3-6466-49f6-9d92-36fe6d471dd1.html