我想让我的任可页面不被任何搜索引擎收录应该怎么写robots.txt 如题!谢谢! 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 User-agent: *Disallow: / 建立一个GOOGLE管理员帐户,里面有目录不被收录的详细解释和说明! Robots.txt文件的作用? a)什么是Robots.txt? 一个文本文件,名字叫Robots.txt.(是不是废话?) 其实关键是这个文件所在的位置:应该是在网站的根目录下。 b)Robots.txt如何起作用? 前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都是在寻找这个文件。其含义是,“贵站对我们这些Robots有什么限制?”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应(没有找到这个文件),代表没有什么限制,尽管来抓取吧。如果真的有这个文件,机器人会读来看看,如果自己被拒绝就会停止抓取过程了。是不是很好理解? c)怎么写Robots.txt文件? 遵循一定的语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,但是通过后面的例子会很容易懂。 d)几个例子看看Robots.txt如何起作用? 1)禁止所有搜索引擎访问网站的任何部分。 User-agent: * Disallow: / 2)允许所有的robot访问。 User-agent: * Disallow: 3)禁止某个搜索引擎的访问。 User-agent: badbot Disallow: / 4)允许某个搜索引擎的访问。 User-agent: baiduspider Disallow: User-agent: * Disallow: / 5)禁止搜索引擎访问某些目录。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /joe/ 很简单,将代码部分存为一个文本文件,命名为Robots.txt置于网页根目录即可实现相应作用。注意,所有语句都是单规则的,即每行仅声明一条规则,比如例五中三个目录必须分三行列出来。更多关于Robots的资料在:http://www.robotstxt.org/wc/robots.html 。关于各个搜索引擎的机器人蜘蛛名称可到搜索引擎中搜索 :-) 关于删除重复记录的问题 怎么查找模板文件中某个数组是调用的哪个PHP文件中的 session开启但是未注册session变量 誰能給我發一份php函数手册?高分。謝謝 ̄! 小弟请教大虾们帮我解决一下“EasyPHP”配置的问题! 问一个很弱智的问题:什么函数可以将一个十进制的数转换成二进制的数?? ◎现场揭帖!◎ 我该怎么办??? 我用php实现上传的难题? 有高手知道怎样在php中判断一个字符是否是汉字的办法吗? Oracle与MySQL 求教PHP怎么保留数字部分? 如何使用PHP,更改维基小照片地址为大照片地址?
Disallow: /
一个文本文件,名字叫Robots.txt.(是不是废话?) 其实关键是这个文件所在的位置:应该是在网站的根目录下。 b)Robots.txt如何起作用?
前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都是在寻找这个文件。其含义是,“贵站对我们这些Robots有什么限制?”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应(没有找到这个文件),代表没有什么限制,尽管来抓取吧。如果真的有这个文件,机器人会读来看看,如果自己被拒绝就会停止抓取过程了。是不是很好理解? c)怎么写Robots.txt文件?
遵循一定的语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,但是通过后面的例子会很容易懂。 d)几个例子看看Robots.txt如何起作用? 1)禁止所有搜索引擎访问网站的任何部分。 User-agent: *
Disallow: /
2)允许所有的robot访问。 User-agent: *
Disallow:
3)禁止某个搜索引擎的访问。 User-agent: badbot
Disallow: /
4)允许某个搜索引擎的访问。 User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
5)禁止搜索引擎访问某些目录。 User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
很简单,将代码部分存为一个文本文件,命名为Robots.txt置于网页根目录即可实现相应作用。注意,所有语句都是单规则的,即每行仅声明一条规则,比如例五中三个目录必须分三行列出来。更多关于Robots的资料在:http://www.robotstxt.org/wc/robots.html 。关于各个搜索引擎的机器人蜘蛛名称可到搜索引擎中搜索 :-)