各位大侠,做过 web 数据采集,能给我源码吗?非常感谢!
解决方案 »
- 关于VS中数据库操作的一个问题就大神解答
- 【提问】.net中上传问题!
- 高手再次帮忙!!aspnet_wp.exe 意外停止 服务器应用程序不可用
- 招聘~!!!!!!!!!!!各位csdn的朋友们来看呀~!
- 如何对隐藏的控件进行验证?
- 难度比较高的文件夹上传问题,请高手帮忙!
- LCase 的问题
- button_click事件执行两次
- 请问高手:如何利用ASP.NET做一个容器控件
- 怎样判断DataGrid的下一页已没有记录?
- 无法将类型为“ASP.Letters_treat_ascx”的对象强制转换为类型“XX.Controls.Treat”。
- 请大家帮我看下我写的正则匹配href有什么不对的
protected void Button1_Click(object sender, EventArgs e)
{
string strResult = "";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(@"http://www.dangdang.com");
request.Method = "GET";
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream streamReceive = response.GetResponseStream();
Encoding encoding = Encoding.GetEncoding("gb2312");
StreamReader streamReader = new StreamReader(streamReceive, encoding);
strResult = streamReader.ReadToEnd();
div1.InnerHtml = strResult;
}
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(@"http://www.dangdang.com");
request.Method = "GET";
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream streamReceive = response.GetResponseStream();
Encoding encoding = Encoding.GetEncoding("gb2312");
StreamReader streamReader = new StreamReader(streamReceive, encoding);
strResult = streamReader.ReadToEnd();
div1.InnerHtml = strResult;
(获取列表什么的再弄一下)
然后就利用正则分析出你想要的数据。
然后再去掉那些html,css,js等标签,剩下的文本就是你要采集的内容了。
关于图片等内容,需要特殊处理,将图片下载到本地,或者存到数据库中。