谁有抓取网站信息的代码？

Question

那位仁兄有抓取网站 标题  链接 内容 的代码 或例子在网上找了好多，用不了，网站内容是拿下来了，就是不会解析

Answer 1

/// <summary>
/// 抓取网页代码
/// </summary>
/// <param name="Url">网页的路径</param>
/// <param name="ReturnValue">返回网页代码的参数</param>
private void GetHTMLText(string Url,out String ReturnValue)
{
System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(Url);
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";
System.Net.WebResponse response = request.GetResponse();
System.IO.Stream resStream = response.GetResponseStream();
System.IO.StreamReader sr = new System.IO.StreamReader(resStream, System.Text.Encoding.Default);
string html = (sr.ReadToEnd());
ReturnValue = html;
resStream.Close();
}