从网页中提取内容（高分）

Question

我想从一个别人的网页中提取数据，这个数据是随时更新的。我想把它保存到数据库中。请问该怎么做。

Answer 1

如果不需要身份验证，很简单，用下面方法即可得到源代码，如果需要身份验证会麻烦些，注意网页的编码
        // 获取指定网页的HTML代码
        static string GetPageSource(string URL)
        {
            Uri uri = new Uri(URL);
            HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
            HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();
            hwReq.Method = "Get";
            hwReq.KeepAlive = false;
            StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("UTF-8"));
            return reader.ReadToEnd();
        }

Answer 2

这里需要注意的只有一点
System.Text.Encoding.GetEncoding("UTF-8")　这里的编码要视你要取得的网页的编码而定
其它的方法如果只是应用可以不必理会，如果为了学习，参考一下MSDN吧正则要视你所要提取的内容而定的

Answer 3

http://www.microsoft.com/china/msdn/Archives/workshop/scrape.asp