获取某地址下的文章内容

Question

大家好，
   我想要一个程序，可以根据指定的url，比如www.baidu.com获取到这个地址下的文章标题、文章正文、图片列表（URL）
请问有现成的开源项目吗，需要C#开发的，烦请给一个链接，谢谢。

Answer 1

http://www.cnblogs.com/yiki/archive/2007/08/28/872528.html

Answer 2

HttpWebRequest
或者
WebClient

Answer 3

 public class GetWeb
    {
        private string webContext;        public string WebContext
        {
            get { return webContext; }
            set { webContext = value; }
        }
        private string url;        public string Url
        {
            get { return url; }
            set { url = value; }
        }     //得到页面的所有类容
        public void GetHttpWeb()
        {
            HttpWebRequest request = HttpWebRequest.Create(this.url) as HttpWebRequest;
            HttpWebResponse response = request.GetResponse() as HttpWebResponse;
            Stream stream = response.GetResponseStream();
            MemoryStream memory = new MemoryStream();
            Byte[] buff = new Byte[4096];
            int i = 0;
            while ((i = stream.Read(buff, 0, buff.Length)) > 0)
            {
                memory.Write(buff, 0, i);            }
            memory.Close();
            webContext = Encoding.GetEncoding(response.CharacterSet).GetString(memory.GetBuffer());
        }
    }
 public class WebDataContext
    {
       //保存页面的所有Image URL
        private List<string> images;
        public List<string> Images
        {
            get { return images; }
            set { images = value; }
        }
     
      //保存连接
        private List<string> users;        public List<string> Users
        {
            get { return users; }
            set { users = value; }
        }
        public WebDataContext() 
        {
            images = new List<string>();
            users = new List<string>();
        }
    }
/// <summary>
        /// 匹配图片URL和链接的URL
        /// </summary>
        /// <param name="text"></param>
        /// <returns></returns>
        public WebDataContext getWebDataContext(string text,string imgesreg,string usersreg) 
        {
            WebDataContext data = new WebDataContext();           
            Regex regImg = new Regex(imgesreg, RegexOptions.IgnoreCase);
            MatchCollection matches = regImg.Matches(text);            foreach (Match item in matches)
            {
                data.Images.Add(item.Value);
            }
          
            Regex reguser = new Regex(usersreg,RegexOptions.IgnoreCase);
            MatchCollection matcheuser = reguser.Matches(text);
            foreach (Match item in matcheuser)
            {
                data.Users.Add(item.Value);
            }
            return data;
        }
//传入你要匹配的正则表达式。