我在写robot爬虫的代码的时候发现下面两个标注有问题的代码要是写上去的话,就不能正常运行,注释掉的话,运行是正常运行,但是最后显示的结果是找到的关键字数为0, 但不应该是0public void processHtml(String url) throws ParserException, Exception
{
searchedsite.add(url);
count = 0;
System.out.println("searching ... :" + url);
System.out.println(url);
parser.setURL(url);// 有问题
parser.setEncoding("GBK");
URLConnection uc = parser.getConnection();
// uc.connect(); 有问题
//uc.getLastModified();
NodeIterator nit = parser.elements();while (nit.hasMoreNodes())
{
Node node = nit.nextNode();
parserNode(node);
}
srb.setKeywords(keyword);
srb.setUrl(url);
srb.setCount_key_words(count);
resultlist.add(srb);
System.out.println("count keywords is :" + count);
System.out.println("----------------------------------------------");
}
{
searchedsite.add(url);
count = 0;
System.out.println("searching ... :" + url);
System.out.println(url);
parser.setURL(url);// 有问题
parser.setEncoding("GBK");
URLConnection uc = parser.getConnection();
// uc.connect(); 有问题
//uc.getLastModified();
NodeIterator nit = parser.elements();while (nit.hasMoreNodes())
{
Node node = nit.nextNode();
parserNode(node);
}
srb.setKeywords(keyword);
srb.setUrl(url);
srb.setCount_key_words(count);
resultlist.add(srb);
System.out.println("count keywords is :" + count);
System.out.println("----------------------------------------------");
}
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货