爬虫求助

我在搜集数据的时候ip被一些网站封锁了，现在不能搜集这些网站的数据了，但是急着用这些数据！求助啊！！怎么样解封额！谢啦！（我用的是commons-httpclient-3.1）重点：httpclient被封锁，但是浏览器却依然可以正常访问已经尝试过的思路：
1 ip代理
结果：失效，透明代理依然会被封锁，匿名代理和超匿代理被禁止访问，是不可用的2 访问速度控制
结果：无效，网站的防爬策略是基于流量的，哪怕我模拟人工的访问方式，流量过大依然会被封锁预尝试方法：
1 有两个外网ip，在这两个之间切换
缺陷：封锁和解锁的时间不能平衡，比如说爬行2分钟就会被封锁，但是要15分钟才能解锁
2 有一个外网ip是动态分配的，当被封锁后，重新拨号获取新的外网ip
缺陷：考虑到爬虫的运行效率，这样的处理怕是效率太低了，达不到爬虫应用的应用效果大家谁有更好的思路或者方法

解决方案 »

  1.   

    加一句下面这个代码
    URLConnection conn=name.openConnection();
    conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows XP; DigExt)");
      

  2.   

    http 头 已经伪造成浏览器的样子了  不行
      

  3.   


    我已经用过httpclient把http头信息已经伪装成浏览器了    不行   
    而且你这个使用jase里面的方法，应该跟httpclient3.1的方法不相关了
      

  4.   

    啊，我那是自己写的爬虫，没用什么外加的jar
    我写的是爬csdn上发的代码段
      

  5.   


    我用httpclient 将http 头 已经伪造成浏览器的样子了 不行
    而且你这个是se的  应该和httpclient3.1 不相关
      

  6.   

    嗯，我没用他的httpClient
    他的解决乱码问题挺不方便的
    我自己写，感觉自己用着挺舒服
    他的好多方法需要看api
      

  7.   

    最近我也想写个爬虫的，以前写过一个爬机票的 ，就像去哪儿那样的， 就用的是动态ip ，断开重连。
    最好的方法是有几个，然后同时进行收集资料，一个ip肯定不行。效率太低。个人技术博客：http://www.happyalaric.com
      

  8.   

    有些爬不了的，要一个个分析，例如：我在防止爬虫的页面上使用JAVASCRIPT，用户点击超链接会动态添加一个参数进去，如果你用爬虫则无这个参数，除非你分析我的JAVASCRIPT把需要加参数的链接处理一下。
      

  9.   


    如果我通过遥控浏览器    依然会被封锁，所以应该不是  你所说的JAVASCRIPT  获取用户点击参数