如题!谢谢!

解决方案 »

  1.   

    User-agent: *
    Disallow: /
      

  2.   

    建立一个GOOGLE管理员帐户,里面有目录不被收录的详细解释和说明!
      

  3.   

    Robots.txt文件的作用? a)什么是Robots.txt? 
    一个文本文件,名字叫Robots.txt.(是不是废话?) 其实关键是这个文件所在的位置:应该是在网站的根目录下。 b)Robots.txt如何起作用? 
    前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都是在寻找这个文件。其含义是,“贵站对我们这些Robots有什么限制?”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应(没有找到这个文件),代表没有什么限制,尽管来抓取吧。如果真的有这个文件,机器人会读来看看,如果自己被拒绝就会停止抓取过程了。是不是很好理解? c)怎么写Robots.txt文件? 
    遵循一定的语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,但是通过后面的例子会很容易懂。 d)几个例子看看Robots.txt如何起作用? 1)禁止所有搜索引擎访问网站的任何部分。 User-agent: * 
    Disallow: / 
    2)允许所有的robot访问。 User-agent: * 
    Disallow: 
    3)禁止某个搜索引擎的访问。 User-agent: badbot 
    Disallow: / 
    4)允许某个搜索引擎的访问。 User-agent: baiduspider 
    Disallow: 
    User-agent: * 
    Disallow: / 
    5)禁止搜索引擎访问某些目录。 User-agent: * 
    Disallow: /cgi-bin/ 
    Disallow: /tmp/ 
    Disallow: /joe/ 

    很简单,将代码部分存为一个文本文件,命名为Robots.txt置于网页根目录即可实现相应作用。注意,所有语句都是单规则的,即每行仅声明一条规则,比如例五中三个目录必须分三行列出来。更多关于Robots的资料在:http://www.robotstxt.org/wc/robots.html 。关于各个搜索引擎的机器人蜘蛛名称可到搜索引擎中搜索 :-)