请问如何循环查询这样的网址是否存在？

Question

本来想按分页抓取连接来收集数据的，可对方用的是ajax无刷新分页，无法按分页抓取连接，只好想笨办法循环抓取页面，可对方页面不是按照ID排序的，是按照日期时间排的，如http://www.xxx.com/news_view.aspx?id=201002061045022261,请问我应该如何按日期时间循环判断页面是否存在?

Answer 1

因为是ajax，无法按提供的索引链接抓

Answer 2

try  
  {  
  HttpWebRequest  request=(HttpWebRequest)WebRequest.Create("");  
  HttpWebResponse  myResponse=(HttpWebResponse)request.GetResponse();  
  if(myResponse.StatusDescription.ToString().ToUpper()=="")  
  {    }  
  }  
  catch(WebException  webExcp)  
  {  
  }

Answer 3

算啦，别抓啦。跟对方公司讨论一下，能不能开放后台部分api。
ajax的页面，连SEO都不能，你就更别去抓啦。我记得很可笑地是，有些人认为html后缀的页面特别适合SEO，于是就在html上使用javascript或者frame来显示重要的东西。这其实用一个对SEO似是而非的东西，引出了一个根本背道而驰的东西。

Answer 4

反过来说，如果我们不是为了SEO，而是为了为最终（付费）用户提供服务，哼哼（！），就应该这样去反搞糊涂那些spider。

Answer 5

网站的体验最终是用户，为了体验而强迫迎合进行所谓的SEO，无疑脱裤子放屁~~~个人认为，也可能我是在放屁，呵呵