看一位高手的帖子,做vb蜘蛛用inet保存网页,再用webbrowser打开分析、提取,确实速度提高很多,分析提取也方便很多。
有个问题是:通过inet保存的网页中包含的网址不是绝对路径,为什么?通过IE网页另存,保存下来的网页内的网址是绝对路径?这是为什么?能把inet保存的网页中包含的网址转换成绝对路径吗?我是这样通过inet保存网页的:
Dim FreeNumber
FreeNumber = FreeFile
Open "c:\1.html" For Output As #FreeNumber ' 打开输出文件。
Write #FreeNumber, Inet1.OpenURL("http://www.trustlaws.net/") '
Close #FreeNumber
有个问题是:通过inet保存的网页中包含的网址不是绝对路径,为什么?通过IE网页另存,保存下来的网页内的网址是绝对路径?这是为什么?能把inet保存的网页中包含的网址转换成绝对路径吗?我是这样通过inet保存网页的:
Dim FreeNumber
FreeNumber = FreeFile
Open "c:\1.html" For Output As #FreeNumber ' 打开输出文件。
Write #FreeNumber, Inet1.OpenURL("http://www.trustlaws.net/") '
Close #FreeNumber
首先有一个常识:内存的读取速度远大于硬盘。你的代码是将远程网页保存到本地硬盘上进行一次写操作之后,再进行一次读操作,其运行效率与直接在内存中进行差距有多大了!所以建议,编写高效率蜘蛛,最好不要涉及硬盘读写。当然一些结果和重要信息可以保存到硬盘上,这些临时的、过程的东东不要往硬盘上塞。