HttpClient怎么实现百度搜索

Question

我用getMethod.setPath("http://www.baidu.com")可以得到正常的页面信息但是用搜索加上参数的话
getMethod.setPath("http://www.baidu.com/s?wd=java")
就出错了，提示Invalid redirect location: http://www.baidu.com/search/error.html

Answer 1

楼主可以试试Aphache的HttpComponents开源项目。http://hc.apache.org/

Answer 2

抓取网页，一般都需要设置User-Agent，将程序伪装成浏览器。就算这样，如果你抓取频率太频繁的话，也会被屏蔽。一般搜索引擎都防恶意抓取的机制。

Answer 3

你情况，我想应该是：[？=] 的原因，需要encode下 

Answer 4

简易网络爬虫，我写过一小段http://blog.csdn.net/whf_0000/article/details/6588410

Answer 5

有些http头要模拟成浏览器，如Reffer、User-Agent