网络上有不少软件/爬虫  可以深层次的分析整个网站,有一个功能是 用户可以自己设计链接深度,请教:1.如何判断深度?依据是什么?2.如何实现 逐页爬行?
思路即可,有码更佳,万分感谢....