关于搜索引擎爬数据的问题

Question

如何防止办公系统上的 word、excel 文档，不被搜索引擎给爬去，因为 word、excel 相关资料纯属公司内部工作交流用的；我说的不知道大家明不明白？请各位高手指点

Answer 1

文档下载页面都加上身份验证就行了就算爬虫读到这里返回的也是类似“sorry,permission is validable~”。

Answer 2

再问一下，用什么身份验证为最好（Forms、Passport、Windows验证）？原先用的是Windows验证

Answer 3

再问一下，用什么身份验证为最好（Forms、Passport、Windows验证）？原先用的是Windows验证
---------------适用就好!!!!

Answer 4

没用啊！搜索引擎还是一样能搜到网站相关excel、word文档信息，并可以下载

Answer 5

可以定义robots.txt来禁止搜索引擎索引这些文件

Answer 6

网站根目录放置一个robots.txt，设置禁止索引.doc/.xsl具体查看http://www.baidu.com/search/robots.html