发现一个问题，

网站抓取软件都可以做的这个，我经常抓取网站用于资料保存能用浏览器访问到的网站都可被抓取，这相当于整理浏览器的缓冲区如想不被抓取则必须使用动态页面并认证http请求来源
完全不被抓取是不可能的，有盾就有矛。除非你关闭网站