如何提取网页元素和相应的链接地址程序

Question

the art of java上好像有个例子

Answer 1

给你一个例子,得到某个网页的所有链接:
public ArrayList getUrls(String url) throws Exception{
HTTPSocket http = new HTTPSocket();   
HTMLPage page = new HTMLPage(http);
page.open(url,null);
Vector links  = page.getLinks(); Iterator it = links.iterator();
 
String href = "";
ArrayList hrefs = new ArrayList();
while(it.hasNext()){
 Link link = (Link)it.next();
 href = link.getHREF();
         System.out.println(link.getHREF()+"    :     "+ link.getPrompt());

 }
  return hrefs;
}
不过,这需要<<JAVA机器人编程指南>>中的bot包. 下载地址:http://www.jeffheaton.com

Answer 2

不好意思,上面的例子删除了点东西,有点问题.主要是下面几句:
HTTPSocket http = new HTTPSocket();
HTMLPage page = new HTMLPage(http);
page.open(url,null);
Vector links = page.getLinks();Iterator it = links.iterator();while(it.hasNext()){
  Link link = (Link)it.next();
  System.out.println(link.getHREF()+" : "+ link.getPrompt());}