jobo 爬虫

Question

请问一下，我用jobo-src那个例子下载的网页全是乱码，应该怎么解决，还有我想登陆一个要验证的网站下载一些特定的连接，应该怎么办？大家能不能提供些类似的例子啊，谢谢

Answer 1

用httpclient可以模拟客户端请求，再用htmlparser分析页面的链接，这些都比较容易，最难的就是验证，如果验证码比较复杂的话，会让你绝望

Answer 2

谢谢大家，我用httpclient来模拟登录淘宝，但是一直登陆不上

Answer 3

点击“Robot Settings",把“localize links”的勾去掉！！