关于网络爬虫

Question

web项目中需要大量数据，指导老师说用网络爬虫，但是在网上看了很多都不是很懂，求大神指点怎么使用，我需要一个旅游网站的景点图片，和文字信息，我应该怎样将爬下来的东西进行分类，为我所用？网络爬虫

Answer 1

1.URLConnection连接网页
2.获取连接的InputStream
3.InputStream 转化为String
4.正则表达式匹配标签为img的然后下载保存

Answer 2

看看专栏：http://blog.csdn.net/column/details/jsoup.html

Answer 3

固定网站好爬啊，用线程写个定时任务，任务周期自己设定。
- 通过java.net包下的工具类实现后台发送http请求以及获取响应内容。
- 分析其页面结构，找到符合自己的数据或者链接
- 将抓取下来的数据持久化
- 将上三部逻辑弄到TimerTask，用Timer调度，定期执行