我编了一个数据采集程序,15分种对一个网址(www.xxxx.com)抓取一次源代码。但是现在有一个问题,第一次抓取挺正常的(停顿6秒后,源码出来),以后每次抓取都很快(1秒不到就出来了,源码和第一次相同)。我怀疑是有缓存之类的东西,怎么办?备注1:循环采集,我使用的是 c# 中的timer控件。
备注2:我在网址后加上随机锚点仍然不行,如: http://www.xxxx.com/#1234 (随机数)

解决方案 »

  1.   

    破坏它缓存的机制, 方法只能是让请求页内容有变化, 或者让过期
      

  2.   

    那先得问问了,你直接打开他网站,第一次的结果,跟你15分钟后打开的界面是否一致,如果这个也一致的话那是米办法的.
      

  3.   

    我刚测试了一下,原来源码本身就相同,就没有变化。n次之后,终于发现了变化。
    我的程序没问题,脑袋多想了,谢谢各位了!