小弟抓取页面信息是出现的问题代码:
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        request.Timeout = 300000;//20秒超时 
        request.CookieContainer = new CookieContainer();
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();//老是报500的错误
        Stream resStream = response.GetResponseStream();
        StreamReader sr = new StreamReader(resStream);
        string tempstr = sr.ReadToEnd();
        sr.Close();
        response.Close();
备注:本机测试ok!放到服务器上就出现问题!

解决方案 »

  1.   

    getsite什么操作
    优化sql
    System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
        request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";
        System.Net.WebResponse response = request.GetResponse();
        System.IO.Stream resStream = response.GetResponseStream();
        System.IO.StreamReader sr = new System.IO.StreamReader(resStream, encoding);
        string html = sr.ReadToEnd();
        resStream.Close();
        sr.Close();
        return html;