网站爬虫之Ajax异步数据传输抓取

Question

本帖最后由 jiangsheng 于 2013-02-16 07:20:00 编辑

Answer 1

给你个小提示，装个firefox ＋ｆｉｒｅｂｕｇ
可以监视ａｊａｘ的提交和返回

Answer 2

分析js文件 按照生成后的标签查找ajax节点找到ajax的网址，这是超级难题chrome【右击审核元素】，ie8以上【f12】  firefox【firebug】 都可以轻松查看最新html结构

Answer 3

什么Ajax？根本就是在原始的网页html中。

Answer 4

有些浏览器都带“开发人员工具”，比如IE8就有，“单击选择元素”，然后你往网页中某个元素点一下，它就会显示出对应的Dom结构。

Answer 5

lz功力有待提升
http://storelocator.officedepot.com/ajax?&xml_request=%3Crequest%3E%3Cappkey%3EAC2AD3C2-C08F-11E1-8600-DCAD4D48D7F4%3C%2Fappkey%3E%3Cgeoip%3E1%3C%2Fgeoip%3E%3Cformdata%20id%3D%22getlist%22%3E%3Cobjectname%3ELocator%3A%3AStore%3C%2Fobjectname%3E%3Cwhere%3E%3Cclientkey%3E%3Ceq%3E101%3C%2Feq%3E%3C%2Fclientkey%3E%3C%2Fwhere%3E%3C%2Fformdata%3E%3C%2Frequest%3E

Answer 6

大神，通过 HttpWebRequest 和 HttpWebResponse取到的内容，确实没有ajax部分的。不是同一次请求