Java网络编程的问题

Question

我想编个程序，搜索一个论坛的某个用户在论坛的帖子，请高手指教！我的想法是先输入论坛地址然后获得论坛的所有链接，接下去遍历所有链接，完成搜索。但是我不知道用些什么函数能实现，比如怎么样通过输入的论坛地址获得它当前页面的所有链接，还有怎么获得用户ID，和怎么获得该用户ID的发帖内容，包括回帖的内容。

Answer 1

我有点搞不清这是属于网络编程还是WEB编程方面的知识了，能告诉我下吗

Answer 2

建议构造url，利用论坛的搜索功能获得结果，之后再取回来。相当于元搜索。
如果把论坛所有数据都抓回来的话，需要考虑数据量——爬取时间——磁盘空间占用这些问题，还得考虑爬取过程总会不会被封掉

Answer 3

你可以用httpclient的访问论坛，把一些页面搞下来。
然后用正则表达式对这些页面进行处理，把类似的url弄出来。再用httpclient访问搞出来的url,获得页面。再用正则表达式提取你想要的内容。

Answer 4

httpclient是说apache的http协议的开发包，而不是指工具的。