最近被淘宝类的接口参数加密和返回数据加密弄得很烦,构想一下是不是可以写一个浏览器获取浏览器接收到的数据(有些数据不在页面完全显示),然后关闭浏览器图片加载。这样的爬虫是不是就不用考虑接口加密什么的问题了,只是稍微慢点。有大神能实现吗

解决方案 »

  1.   

    当然可以,你可以用webbrowser或者cef
    然后用个代理比如FiddlerCore在中间截取数据(当然篡改也行)
    具体实现你可以搜索相关的东西
      

  2.   

    cef还是很方便实现这个功能的
      

  3.   

    对,直接用cef去访问,就不需要在乎接口参数的加密解密问题。
    直接抓取浏览器处理之后的数据
      

  4.   

    cef不太会用,网上资料不多