我平时用HttpWebRequest抓取页面,很轻松的就抓。都可以得到想要的内容。
但是我在抓取E趣窝导航数据时发现了一个奇怪的问题。
网站页面数据都是些网址信息,我用HttpWebRequest抓取,得到的数据确很少,仔细一看和页面的信息完全不一样。
又试了很多次都是同样的结果。
请高手帮忙看看向这样的网站如何抓取?办什么得到的数据和显示的不一样,是不是加密了?但是看不到乱码,只是显示的内容和源代码不一样?这是怎么做到的?页面地址是:http://www.equwo.com我的原码是: ServicePointManager.CertificatePolicy = new MyPolicy();
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(new Uri());//发出请求
myHttpWebRequest.ServicePoint.Expect100Continue = false;
if (rt.dlip != "" && rt.dlip != null && rt.proxy != "" && rt.proxy != null)
{
WebProxy myproxy = new WebProxy(rt.dlip, Convert.ToInt32(rt.proxy));
myHttpWebRequest.Proxy = myproxy;
}
ServicePointManager.DefaultConnectionLimit = 60;//允许的最大连接数
myHttpWebRequest.CookieContainer = cie;//保存cookie string postData = pdata;//设置发送字符串
byte[] byte1 = null;
if (bm != "utf-8")
{
ASCIIEncoding encoding = new ASCIIEncoding();
byte1 = encoding.GetBytes(postData);//转为字节
}
else
{
byte1 = Encoding.UTF8.GetBytes(postData);
}
但是我在抓取E趣窝导航数据时发现了一个奇怪的问题。
网站页面数据都是些网址信息,我用HttpWebRequest抓取,得到的数据确很少,仔细一看和页面的信息完全不一样。
又试了很多次都是同样的结果。
请高手帮忙看看向这样的网站如何抓取?办什么得到的数据和显示的不一样,是不是加密了?但是看不到乱码,只是显示的内容和源代码不一样?这是怎么做到的?页面地址是:http://www.equwo.com我的原码是: ServicePointManager.CertificatePolicy = new MyPolicy();
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(new Uri());//发出请求
myHttpWebRequest.ServicePoint.Expect100Continue = false;
if (rt.dlip != "" && rt.dlip != null && rt.proxy != "" && rt.proxy != null)
{
WebProxy myproxy = new WebProxy(rt.dlip, Convert.ToInt32(rt.proxy));
myHttpWebRequest.Proxy = myproxy;
}
ServicePointManager.DefaultConnectionLimit = 60;//允许的最大连接数
myHttpWebRequest.CookieContainer = cie;//保存cookie string postData = pdata;//设置发送字符串
byte[] byte1 = null;
if (bm != "utf-8")
{
ASCIIEncoding encoding = new ASCIIEncoding();
byte1 = encoding.GetBytes(postData);//转为字节
}
else
{
byte1 = Encoding.UTF8.GetBytes(postData);
}
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货