http://www.cffex.com.cn/rtj/
明明用Chrome浏览器或Edge打开显示正常,但用http请求(HttpWebRequest,WebClient,WebBrowser都试过了)去下载,表格和数据完全没有,也没有CSS效果,userAgent 等已经按照捕捉到的header设置也没用   String contentType = "application/x-www-form-urlencoded";
        String accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3";
        String userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763";
最上面提示“由于您使用的浏览器版本过低,无法使用本网站所有功能,
建议升级至IE9.0以上版本,或使用Chrome、Safari最新版本浏览。”IE明明是11的
而且关键明明页面显示正常,但Chrome自带的开发工具里看页面也同意是不对的这网址是做了反爬虫了吗,怎么处理,还是说有其他地方要设置

解决方案 »

  1.   

    但用浏览器的网页另存功能保存成html里是有数据的
      

  2.   

    数据肯定是ajax动态请求加载的撒,你要抓到请求数据的请求包
      

  3.   

    右边的Preview肯定会显示出来的
    因为那些都是没有加载css文件的格式,是原始的html文件,同理js文件也没加载
    如果加载了css,js,就会根据条件隐藏掉这个div要看返回的完整内容,需要在Source里边看,而不是Network
    所以HttpWebRequest,WebClient这些应该是很难抓取到完整页面内容的,尤其是动态加载的数据但是WebBrowser应该是可以获取到所有数据,因为这是一个真正的浏览器内核