如何用Java获取某网站下所有URL?

Question

我试过先获取该网站首页的HTML文件,然后用正则表达式提取其中的URL,但只是很少的一部分.
如果可以获取所有的URL.
请高手指点一下!谢谢!

Answer 1

使用递归啊，先取得首页的内容，根据正则表达式匹配，取得所有的二级页面url，再根据二级页面取得子页面，一直递归下去，不过如果碰到不是本网站的连接就不要去递归了，否则如果哪个页面把sina或者哪个门户网站做了一个连接，那你就把硬盘存满都存不完了。