请问如何抓取动态网页

Question

JAVA做一个工作搜索的软件，预期的目标是将51job，chinahr，智联招聘，等一些招聘网站的招聘信息通过爬虫抓取，处理后收录到自己的数据库，然后由自己的服务器提供服务。现在的问题是这类网站大都是采用动态页，要获得信息就得入库，或者用别的方法抓取他们的动态网页，谢谢高手门指点下

Answer 1

有达人指点指点么，是将动态页转HTML格式后下载？

Answer 2

和抓静态网页一样的啊。都是向服务器发送请求，服务器响应返回字符流。
拼请求URL时注意提供必要参数就是了。

Answer 3

1.动态页->静态页 这种软件是存在的，不过不实用
2.如果是自己写爬虫的话，建议去看看开源搜索引擎，比如nutch、、、
3.偶自己也看别人写过，Delphi里直接用httpScan控件就行，Java里貌似很麻烦