java中的httpparse包怎么可以设置代理服务器解析网页
现在可以正常解析局域网的网站,但是需要代理服务器代理上网的网站就不能够解析package com.mytest;import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.util.NodeList;public class Myparse {
public Myparse()
{
}
public static void main(String args[])
{
int i;
try{
Parser parser = new Parser("http://www.baidu.com");
// 这里是控制测试的部分,后面的例子修改的就是这个地方。
/*NodeFilter filter = new TagNameFilter ("DIV");
NodeList nodes = parser.extractAllNodesThatMatch(filter); */
NodeFilter filter = new HasAttributeFilter( "class", "clear" );
NodeList nodes = parser.extractAllNodesThatMatch(filter);
if(nodes!=null) {
for (i = 0; i < nodes.size(); i++) {
Node textnode = (Node) nodes.elementAt(i);
System.out.println("getText:"+textnode.getText());
System.out.println("=================================================");
}
System.out.println("i="+i);
}
}
catch( Exception e ) {
//e.printStackTrace();
System.out.println("解析发生意外终止!");
}
}}
现在可以正常解析局域网的网站,但是需要代理服务器代理上网的网站就不能够解析package com.mytest;import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.util.NodeList;public class Myparse {
public Myparse()
{
}
public static void main(String args[])
{
int i;
try{
Parser parser = new Parser("http://www.baidu.com");
// 这里是控制测试的部分,后面的例子修改的就是这个地方。
/*NodeFilter filter = new TagNameFilter ("DIV");
NodeList nodes = parser.extractAllNodesThatMatch(filter); */
NodeFilter filter = new HasAttributeFilter( "class", "clear" );
NodeList nodes = parser.extractAllNodesThatMatch(filter);
if(nodes!=null) {
for (i = 0; i < nodes.size(); i++) {
Node textnode = (Node) nodes.elementAt(i);
System.out.println("getText:"+textnode.getText());
System.out.println("=================================================");
}
System.out.println("i="+i);
}
}
catch( Exception e ) {
//e.printStackTrace();
System.out.println("解析发生意外终止!");
}
}}
System.setProperty("http.proxyPort", "1080");