问题描述:抓取谷歌英文搜索引擎内的内容,抓取部分没问题,最近谷歌英文添加了一个根据ip自动选择服务器的的功能限制,使得之前的抓取网页程序抓到的内容不准确,因为谷歌将抓取网址转向给了香港服务器,而谷歌英文和谷歌香港英文的页面信息不一样,所以导致内容抓取不正确。
求助:防止谷歌跳转我使用了HttpWebRequest的AllowAutoRedirect属性,将其设为false禁止自动跳转,但当我调用GetResponse()方法时候得到的StatusDescription(请求响应状态)是302,即FOUND状态,现在只能获取到要跳转的请求地址,无法获取任何信息;AllowAutoRedirect设为true的时候,StatusDescription为200,可获取网页消息,但是获取的网页消息是跳转后最后一个网页的信息,即谷歌香港英文的内容,内容抓出来不准确。请各位老师帮帮忙出个点子。谢谢!