用htmlparser做新闻爬取,在指定的同一网页上只能爬取到部份内容另一部份只爬取到一SQL语句。用IE打开网页右键查看源码又有htmlparser没有爬取出的那部份内容,请问这是为什么没能爬取内容出来,却爬取出sql语句来

解决方案 »

  1.   

    有页面里面会直接暴露sql的?
    我原先用过nekohtml,你上网搜索下,这个比较好用
      

  2.   

    你可以用下jsoup 比htmlparse好用多了
      

  3.   

    对啊,我也奇怪怎么抓取出sql语句来了,可是用htmlparser都了很多了,只有个别页面是这样的
      

  4.   

    htmlparser刚用了一段时间,还真没出现过lz说的情况,怎么会爬取到sql???
      

  5.   

    不知道,我有两个这样的页面爬取不出数据,一个是爬出SQL一个是直接就是需要的那部份数据没有
      

  6.   

    我用jsoup 写的测试代码去爬取那两个页面,爬取到的结果和用htmlparser爬到的一样也是取出sql语句
      

  7.   

    莫非他的数据是ajax取得?
    爬虫没用过 你去QQ群里面搜2个人多的搜索引擎群 进去问问
    这里做搜索的人少~~
      

  8.   

    给出你爬取的URL链接,我看看我这边抓取会不会出现你那样的问题
      

  9.   

    难道是DIV里面写SQL 然后用AJAX传递SQL 然后把SQL查出的新闻再放到DIV中?