网页数据采集

Question

html数据数据采集

Answer 1

用firefox的网络查看一下，上面的查询结果是用ajax来完成的，直接采ajax的地址就可以了

Answer 2

我看了网页上的js，但是没有看出来要采集的东西啊？？？你自己用firebug查看网络，查询是用ajax POST来获取查询的，页面JS已经写好了这个逻辑（这个自己找找吧），自己用webrequest模拟这个过程。
如果你还是要直接抓，这个要等到有结果才能出现，因为查询会反回没有结果，判断result里面有没有数据，没有就一直访问页面，有就直接匹配出来

Answer 3

我看了网页上的js，但是没有看出来要采集的东西啊？？？你自己用firebug查看网络，查询是用ajax POST来获取查询的，页面JS已经写好了这个逻辑（这个自己找找吧），自己用webrequest模拟这个过程。
如果你还是要直接抓，这个要等到有结果才能出现，因为查询会反回没有结果，判断result里面有没有数据，没有就一直访问页面，有就直接匹配出来我知道怎么对网页进行请求，但是不知道怎么在请求的时候执行网页中的js方法

Answer 4

网页加载时有个脚本错误，估计这个就是无法获取完整html代码的原因，各位大神有解决的方法吗？

Answer 5

这个脚本给数据的只能用webbrowser采集，循环遍历各个控件就可以了。

Answer 6

就是说遍历网页上每一个元素，div，a等等，并判断是否是采集的，如果是就保存就可以了。