大家好,请问一下,我用Jobo爬虫来提取淘宝网页的数据时,报错,这个网址http://my.taobao.com/robots.txt
内容如下 :
User-agent: Baiduspider
Disallow: /User-agent: baiduspider
Disallow: /意思是说百度蜘蛛不能用,我想设置其他的搜索蜘蛛怎么设置啊?有没有其他的办法来提取淘宝中的信息??谢谢
内容如下 :
User-agent: Baiduspider
Disallow: /User-agent: baiduspider
Disallow: /意思是说百度蜘蛛不能用,我想设置其他的搜索蜘蛛怎么设置啊?有没有其他的办法来提取淘宝中的信息??谢谢
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货