怎样遍历internet某个网站上的某个url路径下的全部文件

Question

本帖最后由 tmoonlight 于 2010-04-24 02:31:57 编辑

Answer 1

特例 地址是 这里 
http://www.narutom.com/comic/8809.html?p=6卡通图片地址是在一个叫做 tbComic 的table装着呢谢谢啦 

Answer 2

不大可能，本地的磁盘格式比如EXT等都会根据一个目录的inode找到对应存储块，里面存有所有文件的inode。但是对方的目录下不一定你有浏览权限，如果有浏览权限倒好说，可惜……几率太小我试着用浏览器访问了下那个目录，发现被定位到其他地方了

Answer 3

试一下用正则表达式去匹配这些url网址

Answer 4

Pattern pattern = Pattern.compile("href=\"(.+?)\""); 
Matcher matcher = pattern.matcher("<a href=\"index.html\">主页</a>"); 
if(matcher.find()) 
  System.out.println(matcher.group(1)); 
} 这个正则用来获得href=""里的网址

Answer 5

http协议不支持。再说很多文件下载不到的，比如web.config,index.aspx等等。还是分析页面上的链接比较靠谱。

Answer 6

谢谢上面的 朋友们的思路但是要说一下的是 正则表达式 一定不行。说用正则的 朋友们 估计还没去看过 那个网页。请打开网页看一下。 那个是个漫画连载的网页。 每个网页上 只有1个漫画的 图片和 多个不相干的非漫画图片。而通往下一页 漫画图片的 那个DropDownList 是由服务器动态生成的。 所以 在那个网页的 内容里 是没有其他漫画页面的 url的。您用正则表达式 的基础是 在这个网页的 内容上要有接着动画网页的 url。  但是 这里没有所以说 前提都不符合。  所以 就用不了 正则表达式了。看来 思路方向不对。  请大家 想想 还有其他方法吗？  还有 所有一切和 网页解析 得到可用url的 方法都应该不使用本网站所以 请大家 想想 别的 思路吧谢谢啦

Answer 7

你可以找一个调试用的代理服务器抓一下点下一页的时候和服务器之间的HTTP通讯
然后判断一下HTML和HTTP通讯之间的关系，以便于自己模拟HTTP请求

Answer 8

htmlParse 开源包可以很方便的解析。