我想抓取网页中的内容时
file_get_contents 参数填入url就可以获得当前的内容现在我想做的是如何深层抓取?难道是遇到 a标签后 就获取url 然后再file_get_contents一直这么遍历下去吗??不知道有没好的思路呢?
file_get_contents 参数填入url就可以获得当前的内容现在我想做的是如何深层抓取?难道是遇到 a标签后 就获取url 然后再file_get_contents一直这么遍历下去吗??不知道有没好的思路呢?
不外乎两种常见的遍历形式:
1.深度扫描,类似图的深度遍历。递归是最容易理解的方式。2.广度扫描。即按照层次的方式来扫描网页。容易实现且可以控制抓取的层次。你说的方式基本就是深度爬虫的策略。ps:这个相当耗时额。