折腾了两个月的问题找不到对策,求思路：c#采集网页通讯底层数据的方法。没分了，一百块新年红包送上！

Question

本帖最后由 tylrr123 于 2014-02-04 23:23:30 编辑

Answer 1

HttpRequest 抓数据 模拟百度蜘蛛，50次又不是什么难事，大不分采一次后隔几秒再取第二次。
不管他是不是 ajax还是什么，只要浏览器能看到的，HttpRequest都可以把他抓下来。

Answer 2

csexwb也做不到。老实解码ajax调用的结果吧。

Answer 3

请问这个有详细的内容链接吗?  我在google找的都说HttpRequest 抓取ajax很麻烦啊.用webbrownser才比较简单.
请问版主,csexwb为何做不到啊?  我又找到了这个 HTTP Monitor for Webbrowser Control 可以实现吗?
地址:
http://www.codeproject.com/Articles/157329/Http-Monitor-for-Webbrowser-Control谢谢

Answer 4

实际上，假如用Flash或者Sivlerlight来进行通讯（然后与javascript、DOM交互操作），不但更快、更稳定，而且更安全。

Answer 5

请问这个有详细的内容链接吗?  我在google找的都说HttpRequest 抓取ajax很麻烦啊.用webbrownser才比较简单.
请问版主,csexwb为何做不到啊?  我又找到了这个 HTTP Monitor for Webbrowser Control 可以实现吗?
地址:
http://www.codeproject.com/Articles/157329/Http-Monitor-for-Webbrowser-Control谢谢
这个要是用ajax那个webbrowser根本看不到代码，只能用httprequest.
还有采集数据，最早的就叫小偷程序，在2003-2005年那会音乐小偷，图片小偷 只要一两个文件就能做成一个网站

Answer 6

对于json的处理是相当简单不过了,定义一个相对应的实体,然后直接将其它转换就可以了

Answer 7

这都有请求地址了，数据也有，而且是直接的json数据了，很好解析了呀。
还是说js加密了你无法自动生成或者获取合法的请求地址？

Answer 8

不是对json处理的问题。 是不知道怎么获取json的问题。
无法获取合法的请求地址。目标网站做了防采集。直接请求ajax地址返回的是错误提示。我猜它是根据cookie和来路来处理的

Answer 9

不会吧 不会Flash会一些Silverlight  
Silverlight也是把xap发到客户端的 客户端很容易得到xap 也很容易解析出来的啊