相同网址 采集时的内容与正常访问的内容 不一样

针对相同的网址http://www.beijing2008.cn/news/olympiccities/beijing/index_255.shtml
利用asp的Set ObjXMLHTTP=Server.CreateObject("MSXML2.serverXMLHTTP")对象采集页面时候，得不到其html
而是自动跳转到英文列表不能正常采集通过php的curl采集该网址的时候，发现得不到内容。希望达人给予解决
感谢直至

解决方案 »

  1.   

    网站增加了‘HTTP_USER_AGENT’过滤
      

  2.   


     file_put_contents('a.txt',file_get_contents('http://www.beijing2008.cn/news/olympiccities/beijing/index_255.shtml'))
    没有问题，是应用xmlhttp时返回的不正确
      

  3.   

    怎么绕过HTTP_USER_AGENT他的检测
    如果是采集器的话
    希望达人继续给予帮助
      

  4.   

    好象不能，
    HTTP_USER_AGENT主要用于浏览器检测
    HTTP_USER_AGENT可能是浏览器自动生成的
    浏览器不传这些东西，后台就不知道如何处理
      

  5.   

    复杂一点就是自己写http请求,然后发到服务器上,那样用socket开发,应该可以的
      

  6.   

    直接用cs版本的采集器试试，不要使用web的