如何抓取JS动态生成的HTML

PHPjs爬虫curl源代码

解决方案 »

  1.   

    回复2楼，何解？我的代码是在SAE上的，怎么建proxy？
      

  2.   

    不就是新浪的SAE 上么，我说的代理就是 写一个 后台获取这个页面数据的代码，然后发到你自己的那一端
      

  3.   

    9楼，现成的何在？可否给个link？
      

  4.   

    js动态的生成的用服务器端的饿xmlhttpRequest那种对象获取不到的，除非已经写入到页面中，可以下载页面来分析，如果是ajax动态请求的，获取不到你要知道ajax的接口，直接请求那个接口而不是页面除非你自己写winform程序+webbrowser组件来实现页面加载，这样就可以获取到了
      

  5.   

    winform程序+webbrowser组件？求老大科普
      

  6.   

    #11，#13，#14。我问的是PHP，不是.Net
      

  7.   

    我想你关心的是页面里面的产品信息而不是整个页面，如果是这样的话，你可以直接访问
    http://www.kmart.com/content/pdp/config/products/v1/products/004W006343307001P?site=kmart
    其中004W006343307001P是你最上面的网址里面p-后面问好前面的部分，抓取后的json字符串用相应的函数转换成对象就可以使用了。
      

  8.   

    #17楼，首先非常感谢你能设身处地的为我解答问题！！但是还有一个问题，这个json里没有价格信息，而价格信息是我最最需要的。你还有什么其他建议吗？
      

  9.   

    促销信息
    http://www.kmart.com/content/pdp/v1/products/004W006343307001/promos?site=kmart&dealSetting=3
    可能是不同地区的价格
    http://www.kmart.com/shc/s/FetchPOPAPriceCmd?partNumber=004W006343307001&zipCode=[object%20Object]
    Ratings & Reviews
    http://www.kmart.com/content/pdp/ratings/single/search/Kmart/004W006343307001P&targetType=product&limit=10&offset=0
    原价，促销价和时间，清仓价等信息，这个是你想要的
    http://www.kmart.com/content/pdp/products/pricing/004W006343307001?variation=0&regionCode=0&storeId=10151
    积分，抵扣等信息:
    http://www.kmart.com/content/pdp/eCoupon/userCoupon/Kmart/004W006343307001?upc=673419190947&version=1&ksn=6343307&priceType=1&price=39.99&quantity=1其他的你自己抓包看一下就知道了，比如计算运费等等