采集的过程中怎么样判断采集页不存在还者是页面存在程序采集不到

当批量采集的时候HttpWebRequest表现不是很稳定，采集同一个页面有时候能够采到有时候又不能够采到，那么在程序里应该怎么判断是程序采集不到内容还是页面不存在（很多站点都自定义404错误页面）

解决方案 »

  1.   

    这个似乎不只HttpWebRequest问题，楼主可有把网络状态考虑进去，有时候网页存在，而连接超时也会返回404错误的
      

  2.   

    应用程序通过捕捉 Status 设置为 WebExceptionStatus.ProtocolError 的 WebException 来接收 HTTP 协议错误。Response 属性包含由服务器发送的 WebResponse，并指示遇到的实际 HTTP 错误。
      

  3.   

    谢谢各位老师的回复, blackant2老师说应用程序通过捕捉 Status 设置为 WebExceptionStatus.ProtocolError 的 WebException 来接收 HTTP 协议错误。Response 属性包含由服务器发送的 WebResponse，并指示遇到的实际 HTTP 错误。
    不知道哪里有这方面的资料,我想学习一下