rebots.txt基本用法

Question

rebots协议最近用了，在根目录下面使用
User-agent: * 　
Disallow: / 这样按道理可以防止搜索引擎搜索到我的网页，倒是用过之后百度搜索，第一个连接点击还是能进入，还是这个协议需要其他代码支持？ 求解

Answer 1

没用，在根目录下加入了rebots.txt，从百度中搜出来的第一个点击还是一样能进入

Answer 2

你可以看一下http://www.baidu.com/search/spider.htm这里的说明，你增加了这个robots.txt以后，百度并不会在用户搜索时判断你是否存在robots.txt的，是等待下一次建立索引的时候才会判断的所以如果你希望尽快删除快照，你应该在它的反馈平台上说明