网页数据抓取，网页源码没有所需数据

Question

数据是ajax方式加载的
用fiddler看浏览器加载数据的方式，用httpwebrequest模拟

Answer 1

我用的WebClient，是一样的吧？关键是数据地址不知道如何找啊

Answer 2

火狐浏览器的 firebug 插件不错，看的很清楚

Answer 3

用楼上的软件登陆网站 ，你会发现完全打开一个网页分好几步， 有的关键数据单独在一个get里面。

Answer 4

下了一个Fiddler，也搜遍了百度，还是不清楚如何查找数据地址。
怎么用Fiddler查找真实的数据地址呢？

Answer 5

http://caipiao.163.com/order/shishicai/#from=leftnav
怎么找到这些数据的地址呢？

Answer 6

http://caipiao.163.com/award/getAwardNumberInfo.html?gameEn=ssc&cache=1412674847161&period=141007069
最后一个参数是期次

Answer 7

我也做过这样的工具，记得是在xml文件当中找到的。

Answer 8

下了一个Fiddler，也搜遍了百度，还是不清楚如何查找数据地址。
怎么用Fiddler查找真实的数据地址呢？用浏览器浏览
Fiddler设置为Capture
然后会看到请求的地址，再不会Google下。

Answer 9

用firebug或者httpwatch或者fiddler在下面的url列表里一个一个地找，你所需要的数据源就在这些url里面，可能是json、xml、txt等等

Answer 10

IE9 以上,直接F12,捉包,什么都看得到

Answer 11

WebClient返回的只是你所请求的url页面数据，而无法获取异步加载的页面。就好比你请求的是地址a，WebClient只返回地址a的页面数据；像异步加载的地址b、c、d，WebClient是无法获取到的，除非用WebClient请求相应的地址b、c、d才行

Answer 12

没错，WebClient返回的只是你所请求的url页面数据，很可能只是这个网页的主体框架，是UI设计部分，里面的内容都是通过json和Ajax异步加载的，是一个函数或者内嵌的URL。要获取到这些内容，就要分析这个网页的构成，至少要把那个函数或者内嵌URL解析出来，然后通过代码获得数据。

Answer 13

没错，WebClient返回的只是你所请求的url页面数据，很可能只是这个网页的主体框架，是UI设计部分，里面的内容都是通过json和Ajax异步加载的，是一个函数或者内嵌的URL。要获取到这些内容，就要分析这个网页的构成，至少要把那个函数或者内嵌URL解析出来，然后通过代码获得数据。
关键是，怎么找到数据URLa ?

Answer 14

已经说的很清楚了，用fiddler很容易就能看到。实在不会，你问问你的同事吧。

Answer 15

这个链接里就是开奖号码的数据，不过现在已经过期了，cache参数的值也可能是变化的。
你就用fiddler或按f12，在请求的地址中找getAwardNumberInfo.html就应该能找到。
最后一个参数period是期次，也是变化的。

Answer 16

http://caipiao.163.com/award/getAwardNumberInfo.html?gameEn=ssc&cache=1412910643773&period=141010031

Answer 17

比如说这个网页：http://adkjh.cailele.com/cqssc/5x_chzs.aspx最后一个期次的数据，始终查不到，然后使用fiddler：左边列表的所有URL我都试过了，都找不到数据地址，这是怎么回事呢？

Answer 18

比如说这个网页：http://adkjh.cailele.com/cqssc/5x_chzs.aspx最后一个期次的数据，始终查不到，然后使用fiddler：左边列表的所有URL我都试过了，都找不到数据地址，这是怎么回事呢？
这个数据直接在页面的，你看看