关于网页信息采集问题，希望大家给我说一下思路，有实例源码更好

1、请求url
2、用firebug等测试工具分析页面数据
3、正则提取数据

解决方案 »

  1.   


    http://download.csdn.net/detail/hsuifengershi/7539025
    其实就是解析HTML 有简单的源码 参考网站 1.http://www.cnblogs.com/ttlive/archive/2011/09/10/2173210.html 2.http://bbs.csdn.net/topics/390420459
      

  2.   

    当时做这个的时候 有2个3个瓶颈1 网页获取
    2 ip更换
    3 IO
      

  3.   

    前面已经告诉你HtmlAgilityPack  为什么不去了解了解呢
      

  4.   

    前面已经告诉你HtmlAgilityPack  为什么不去了解了解呢嗯嗯，我去了解一下，看看对我有没有帮助，第一次搞抓取，以前都没有接触过
      

  5.   

    HtmlAgilityPack 很好用。加上xpath表达式
      

  6.   

    只用php做过，原理和1#的做法是一样的。
    只是我不知道asp.net都使用哪些抓取工具
      

  7.   

    前面已经告诉你HtmlAgilityPack  为什么不去了解了解呢嗯嗯，我去了解一下，看看对我有没有帮助，第一次搞抓取，以前都没有接触过看上去蛮简单的，但是怎么获取网页中的全部匹配的一段html还不知道怎么做
      

  8.   

    逗比 分页也是url请求的  url?page=1 之类的
      

  9.   

    重复解析的url页面 可以做成功能模块 重复调用只采集几次的页面可以用工具搞定 写代码不划算  记得火狐有个采集的插件  
      

  10.   

    前面已经告诉你HtmlAgilityPack  为什么不去了解了解呢问你一个问题，我如何同时获取多个内容<div><a>第一个</a></div><div><a>第二个</a></div><div><a>第三个</a></div>，以此类推，怎么同时获取到？谢谢