User-agent:* # 针对所有搜索引擎
Disallow:/ad/ # 广告中用到的XML文件目录
Disallow:/adimg/ # 广告图片文件目录
Disallow:/App_Code/ # 类文件目录
Disallow:/App_Data/ # 数据源文件目录(实际上该文件夹是空的)
Disallow:/css/ # CSS样式文件目录
Disallow:/gg/ # 验证码及缩略图程序文件目录
Disallow:/help/ # 帮助文档文件目录
Disallow:/js/ # javascript文件目录
Disallow:/rl/ # 注册和登录页面文件目录
Disallow:/zhanwuguanli/ # 后台站务管理N多页面文件目录
Disallow:/Global.asax # 根目录全局文件
Disallow:/Web.config # 服务器配置文件说明:#号及后面的说明文字是为了让大哥们更好的理解才加的,正式的robots.txt文件不带注释。
请大哥们帮我参考一下,语法上有没有错误,是不是文件和文件目录名称都要改成小写呀?
还有,像下面这两行是不是没有必要写呢?
Disallow:/Global.asax
Disallow:/Web.config
还有其它哪些地方有不妥的吗?谢谢帮我指正!
祝大家新春快乐、万事如意!
Disallow:/ad/ # 广告中用到的XML文件目录
Disallow:/adimg/ # 广告图片文件目录
Disallow:/App_Code/ # 类文件目录
Disallow:/App_Data/ # 数据源文件目录(实际上该文件夹是空的)
Disallow:/css/ # CSS样式文件目录
Disallow:/gg/ # 验证码及缩略图程序文件目录
Disallow:/help/ # 帮助文档文件目录
Disallow:/js/ # javascript文件目录
Disallow:/rl/ # 注册和登录页面文件目录
Disallow:/zhanwuguanli/ # 后台站务管理N多页面文件目录
Disallow:/Global.asax # 根目录全局文件
Disallow:/Web.config # 服务器配置文件说明:#号及后面的说明文字是为了让大哥们更好的理解才加的,正式的robots.txt文件不带注释。
请大哥们帮我参考一下,语法上有没有错误,是不是文件和文件目录名称都要改成小写呀?
还有,像下面这两行是不是没有必要写呢?
Disallow:/Global.asax
Disallow:/Web.config
还有其它哪些地方有不妥的吗?谢谢帮我指正!
祝大家新春快乐、万事如意!
http://www.dunsh.org/2006/08/02/robotstxt/http://www.mcanerin.com/EN/search-engine/robots-txt.asp