RT,先用php抓去网页内容,有些网站是预先加载js(AJAX),然后再去请求数据。如何用程序自行分析出真正的请求地址(可能有N个)?然后获取内网页内容呢?多谢指教!

解决方案 »

  1.   

    网页调试
    IE下有 HttpWatch   火狐 Firebug都很适合,自己写WEB调试也用得到,可以选择安装一个Ethereal tcpdump  sniffer都可以……
      

  2.   


    我用FIREBUG确实找到了,但是要映射到程序了,不是一个网站,所以不能自己每次手动去找真是地址
      

  3.   

    sniffer 是个工具?已pass 需要代码实现额
      

  4.   

    用firebug打开网络部分在网站手动提交一个或执行一个ajax操作看网络部分的请求header及post或get参数。
      

  5.   

    获取对方ajax地址的话貌似只能手动查了!
      

  6.   

    大部分情况,它的这个地址是隐藏在js代码里的,分析它的js代码可以得到.
      

  7.   

    可是如何针对千百网站的js统一分析呢?一个网站还好,研究研究兴许就出来了!N多的网站怎么分析呢!头大死了
      

  8.   

    千百网站,你要做搜索引擎么?
    据我所知,大部分ajax内容,搜索引擎也是抓取不到的
      

  9.   

    httpwatch工具足够你用了·~什么都能看到!