我通过下面的代码抓取页面,程序可以正确运行,但问题是,抓取到的数据总是不全,对google和百度抓取只有页面,没有抓取到搜索结果。
百度url:http://www.baidu.com/s?cl=3&wd=.net
google Url:http://66.249.89.99/search?hl=zh-CN&inlang=zh-CN&ie=GB2312&oe=GB2312&newwindow=1&q=.net&lr=lang_zh-CN
byte[] buf = new byte[38192000]; 
HttpWebRequest request = (HttpWebRequest)
WebRequest.Create(textBox1.Text); 
HttpWebResponse response = (HttpWebResponse)
request.GetResponse(); 
Stream resStream = response.GetResponseStream(); 
int count = resStream.Read(buf, 0, buf.Length); 
textBox2.Text = Encoding.Default.GetString(buf, 0, 
count); 
resStream.Close();

解决方案 »

  1.   

    百度我试了吓可以!
    代码如下:
    ------------------------------------------------------------------------------
    HttpWebRequest oRequest = (HttpWebRequest)WebRequest.Create("http://www.baidu.com/s?cl=3&wd=.net");
    HttpWebResponse oResponse = (HttpWebResponse)oRequest.GetResponse();
    StreamReader oReader = new StreamReader(oResponse.GetResponseStream(),System.Text.Encoding.GetEncoding("GB2312"));
    //txt_Value.Text这个自己改下
    txt_Value.Text = oReader.ReadToEnd();oReader.Close();
    oResponse.Close();
    ------------------------------------------------------------------------------