我平时用HttpWebRequest抓取页面,很轻松的就抓。都可以得到想要的内容。
但是我在抓取E趣窝导航数据时发现了一个奇怪的问题。
网站页面数据都是些网址信息,我用HttpWebRequest抓取,得到的数据确很少,仔细一看和页面的信息完全不一样。
又试了很多次都是同样的结果。
  请高手帮忙看看向这样的网站如何抓取?办什么得到的数据和显示的不一样,是不是加密了?但是看不到乱码,只是显示的内容和源代码不一样?这是怎么做到的?页面地址是:http://www.equwo.com我的原码是: ServicePointManager.CertificatePolicy = new MyPolicy();
                HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(new Uri());//发出请求
                myHttpWebRequest.ServicePoint.Expect100Continue = false; 
                if (rt.dlip != "" && rt.dlip != null && rt.proxy != "" && rt.proxy != null)
                {
                    WebProxy myproxy = new WebProxy(rt.dlip, Convert.ToInt32(rt.proxy));
                    myHttpWebRequest.Proxy = myproxy;
                }
                ServicePointManager.DefaultConnectionLimit = 60;//允许的最大连接数
                myHttpWebRequest.CookieContainer = cie;//保存cookie                string postData = pdata;//设置发送字符串
                byte[] byte1 = null;
                if (bm != "utf-8")
                {
                    ASCIIEncoding encoding = new ASCIIEncoding();
                    byte1 = encoding.GetBytes(postData);//转为字节
                }
                else
                {
                    byte1 = Encoding.UTF8.GetBytes(postData);
                }