请高手给段关于HttpURLConnection页面抓取的代码.

Question

RT, 条件: 把页面的所有数据都取过来, 不过要过滤标签, 然后把图片都下载到本地  然后把所有的数据包括刚下载到本地的图片的地址保存到数据库中,忘高手指点 我新人,

Answer 1

  static string GetHtml(string url, Encoding encoding)
  {
  byte[] buf = new WebClient().DownloadData(url);
  if (encoding != null) return encoding.GetString(buf);
  string html = Encoding.UTF8.GetString(buf);
  encoding = GetEncoding(html);
  if (encoding == null || encoding == Encoding.UTF8) return html;
  return encoding.GetString(buf);
  }  static Encoding GetEncoding(string html)
  {
  string pattern = @"(?i)\bcharset=(?<charset>[-a-zA-Z_0-9]+)";
  string charset = Regex.Match(html, pattern).Groups["charset"].Value;
  try { return Encoding.GetEncoding(charset); }
  catch (ArgumentException) { return null; }
  }