public string Get_Page(string xURL)
{
string content = "";
HttpWebRequest httpget = (HttpWebRequest)HttpWebRequest.Create(xURL);
try
{
HttpWebResponse httpres = (HttpWebResponse)httpget.GetResponse();
Stream httpstr = httpres.GetResponseStream();
StreamReader sr = new StreamReader(httpstr, Encoding.Default);
content = sr.ReadToEnd();
}
catch (Exception)
{ }
return content;
}我通过这个代码可以任意的采集大多数的网站,为何有的个别抓取不到呢?
是否对我的服务器IP进行封锁,还是对方的IIS做了哪些设置? 请各位大虾帮帮忙解决一下
{
string content = "";
HttpWebRequest httpget = (HttpWebRequest)HttpWebRequest.Create(xURL);
try
{
HttpWebResponse httpres = (HttpWebResponse)httpget.GetResponse();
Stream httpstr = httpres.GetResponseStream();
StreamReader sr = new StreamReader(httpstr, Encoding.Default);
content = sr.ReadToEnd();
}
catch (Exception)
{ }
return content;
}我通过这个代码可以任意的采集大多数的网站,为何有的个别抓取不到呢?
是否对我的服务器IP进行封锁,还是对方的IIS做了哪些设置? 请各位大虾帮帮忙解决一下
解决方案 »
- asp.net实现滚动效果,图片是由数据库或者文件夹中读取
- 动态判断控件类型
- 利用iTextSharp填充PDF表单,怎么显示半角日元符号
- 紧急求教,大家来救我啊,明天8:00前搞不定就死翘翘了
- QQWry.Dat ip 在项目里的相对路径怎么做?急!!!!
- 怎样把winform的方法做成类似于webservice的调用呢
- 迫切需要解决:在datagrid添加"客户"时,我想让datagrid的某一个列邦定到一个客户的下拉选择(如combox)中,能行吗,怎么做?
- 实现以下功能:
- 我在一个cs中调用了自己创建的dll,在编译的时候报错,报错内容是无法找到该类,是否缺少using?
- 为什么页面显示会断断续续
- Unable to find messages file 'cscompui.dll'
- asp.net的session也太差了,,还不如php啊
关注一下
记录了你的IP JS输出
头部加检验证,一段时间内频繁访问出错,图片加水印和防止盗链。
内容通过地址获取或用web services 看看这个