最近一直在看PHP数据采集的知识,却在采集一些网站内容时遇到了一个大困难,例如在当当网的周排行榜:bang.dangdang.com/book/bestSeller/ 页面,这些列表数据也是AJAX获取的,不能直接获取源代码进行分析,我追踪它内容的获取是由以下的的AJAX代码加载的: //动态调用右侧内容
$.ajax({
url: "contentList.php?catpath="+ strCatPath + "&type=" + strType + "&year=" + strYear + "&month=" + strMonth + "&range=" + strRange,
cache: false,
type: "POST",
data: "catTitleName="+catTitleName+"&catTitleOther="+catTitleOther,
success: function(html){
$("#divContentDateList").css("display","none");
$("#divContentDateList").html(html);
$("#divContentDateList").fadeIn("slow");
}
});这里可以看到,这些列表内容来自contentList.php,传回的内容在html变量里面,请问下一步该怎么办,我在本地也写一个请求contentList.php的AJAX文件吗,还是获取到html的值再进行数据采集就是说,对这种AJAX动态加载的页面,数据采集方法:
1、自己写一个JS,请求它的服务器脚本,获取返回内容
2、获取它已经返回的内容在实际操作中,是哪一种在应用呢,怎样获取呢,请求大哥哥大姐姐教教小弟,不胜感激
$.ajax({
url: "contentList.php?catpath="+ strCatPath + "&type=" + strType + "&year=" + strYear + "&month=" + strMonth + "&range=" + strRange,
cache: false,
type: "POST",
data: "catTitleName="+catTitleName+"&catTitleOther="+catTitleOther,
success: function(html){
$("#divContentDateList").css("display","none");
$("#divContentDateList").html(html);
$("#divContentDateList").fadeIn("slow");
}
});这里可以看到,这些列表内容来自contentList.php,传回的内容在html变量里面,请问下一步该怎么办,我在本地也写一个请求contentList.php的AJAX文件吗,还是获取到html的值再进行数据采集就是说,对这种AJAX动态加载的页面,数据采集方法:
1、自己写一个JS,请求它的服务器脚本,获取返回内容
2、获取它已经返回的内容在实际操作中,是哪一种在应用呢,怎样获取呢,请求大哥哥大姐姐教教小弟,不胜感激
可以用cURL加正则表达式实现
我自己写contentList.php?写些什么呢,原程序可是提交参数到这个文件获取内容的,如果我能写出来这个文件,那直接取输出值不就可以了