下面是我到一公司应聘的面试题,是有关手机网站方面的,通过ASP.NET对其他网站的内容进行抓取,这可把我难倒了,以前根本没做过这方面的,在网上搜了一下好像没有比较满意的答案。我现在是一筹莫展,各位如是这方面的高手不妨赐教,可以是详细的解决方法,也可以将大概的思路说一下,写出主要的代码。不胜感激,多谢了!!!题目如下:抓取腾讯新闻的滚动新闻页面http://news.qq.com/scroll/scroll_today.htm1、程序做成service方式,多线程。2、能够做到定时抓取,抓取时间可以通过配置文件设置。3、要求对HTML代码进行过滤,转换成手机可识别的格式。4、页面中的图片能保存到本地机器的目录,并可以做成等比例压缩。
解决方案 »
- 未将对象引用设置到对象的实例
- KissyEditor上传图片问题,该怎么写返回数据
- 请问多个FormView,如何从第一个SqlDataSource里获取UserID在后面的SqlDataSource里用?
- post 和get有何区别,我觉得一个就可以了啊,不是post可以大量弄么,就post不久ok?
- 高校自动排课系统算法~~~~~~~~
- 如果我要允许多种后缀名文件上传该如何修改以下sql语句
- 高分求解动态创建用户控件的疑惑~~~~?
- 如何获得登陆用户的访问时间?
- 请教一个datalist嵌套的问题
- 高分征求:TreeView的做法
- treeview功能请教。
- TreeView,MultiPage,TabStrip,Toolbar
req.Method = "POST";
req.Accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */*";
req.Referer = "http://www.5460.net";
req.ContentType = "application/x-www-form-urlencoded";
req.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705)";
req.CookieContainer = (CookieContainer)(HttpContext.Current.Application["cookieheader"]);
byte[] SomeBytes = System.Text.Encoding.UTF8.GetBytes(HttpUtility.UrlEncode("Default").ToString());
req.ContentLength = SomeBytes.Length; Stream newStream = req.GetRequestStream();
newStream.Write(SomeBytes, 0, SomeBytes.Length);
newStream.Close();
HttpWebResponse res = (HttpWebResponse)req.GetResponse();
Stream ReceiveStream = res.GetResponseStream();
Encoding encode = System.Text.Encoding.GetEncoding("GB2312");
StreamReader sr = new StreamReader(ReceiveStream, encode);
ReceiveStream.Close();
return sr.ReadToEnd() ;
看看这也许有用的!