Jsoup 解析网页报异常

异常多线程Jsoup

解决方案 »

  1.   

    不行啊
    去掉之后运行还是会报
    java.net.SocketTimeoutException: Read timed out
      

  2.   

    如果在超时的时候 在catch里边让线程暂停几秒钟 之后再联接的话，超时的次数就能少点，但是当所有的线程运行的时间长点的情况，还是会一直报异常。
    老板要求用多线程 因为数据量太大，如果用单线程的话 运行时间就有点太长了
      

  3.   

    那怎么能看出来哪个网站让爬 哪个网站不让爬呢？
    有些画面我在解析的时候报302 是不是就意味着不让爬呢？
    你需要从重定向的header里去获取location的新地址
      

  4.   

    那怎么能看出来哪个网站让爬 哪个网站不让爬呢？
    有些画面我在解析的时候报302 是不是就意味着不让爬呢？
    你需要从重定向的header里去获取location的新地址
    我调查了 这个在基类里已经处理过，如果出现302的问题 会获取location的新地址,但是还是会报302的问题。
      

  5.   

    11.避免URL重定向。URL redirects are made using HTTP status codes 301 and 302. They tell the browser to go to another location.
      

  6.   

    还是用httpclient 然后在用jsoup解析吧
      

  7.   

    有段时间没做那个项目了，记得当时最后是把settimeout设置大了些之后，能好一点点，不过在多次解析的时候，还是时不时会出现问题。
      

  8.   

    Document doc=null;
    org.jsoup.Connection conn = Jsoup.connect(url);
    conn.timeout(5000);
    doc = conn.get();设置一下