问题描述:抓取谷歌英文搜索引擎内的内容,抓取部分没问题,最近谷歌英文添加了一个根据ip自动选择服务器的的功能限制,使得之前的抓取网页程序抓到的内容不准确,因为谷歌将抓取网址转向给了香港服务器,而谷歌英文和谷歌香港英文的页面信息不一样,所以导致内容抓取不正确。
求助:防止谷歌跳转我使用了HttpWebRequest的AllowAutoRedirect属性,将其设为false禁止自动跳转,但当我调用GetResponse()方法时候得到的StatusDescription(请求响应状态)是302,即FOUND状态,现在只能获取到要跳转的请求地址,无法获取任何信息;AllowAutoRedirect设为true的时候,StatusDescription为200,可获取网页消息,但是获取的网页消息是跳转后最后一个网页的信息,即谷歌香港英文的内容,内容抓出来不准确。请各位老师帮帮忙出个点子。谢谢!
求助:防止谷歌跳转我使用了HttpWebRequest的AllowAutoRedirect属性,将其设为false禁止自动跳转,但当我调用GetResponse()方法时候得到的StatusDescription(请求响应状态)是302,即FOUND状态,现在只能获取到要跳转的请求地址,无法获取任何信息;AllowAutoRedirect设为true的时候,StatusDescription为200,可获取网页消息,但是获取的网页消息是跳转后最后一个网页的信息,即谷歌香港英文的内容,内容抓出来不准确。请各位老师帮帮忙出个点子。谢谢!
解决方案 »
- Parameters.Clear() 这句话的作用是什么??
- asp.net gridview筛选问题
- [馨郁星愿]一个vbs的周末计算函数,哪位高手帮忙转成vb版的一下
- 怎么根据value或text找到treeview上的某个treenode并设为选中状态?
- DataGrid中实现选定行变色
- CustomValidator验证文本长度,如何将长度也作为客户端函数的参数
- 关于ListBox1_SelectedIndexChanged的问题
- 身什么asp.net。有没有像jsp一样的标签
- 学习asp.net,用dreamweaver 8打开一个素材page.aspx,按F12测试时,出现错误?
- 我在Excel.js中定義了一個函數
- 关于.net新系统集成到asp系统的问题
- .net 缓存的问题
那就给他加个timer 循环抓