关于robots.txt文件请大家帮忙看一下

奇怪我打开、163的网站robots.txt文件怎么是空的啊？
http://news.163.com/robots.txt

解决方案 »

  1.   

    因为robots.txt文件的编写方法和html语言是两码事，没有可视化的编辑器，明白么？另外robots.txt文件是可有可无的，当然是空也不奇怪了。
      

  2.   

    如果你不希望屏蔽搜索引擎的蜘蛛，就不需要robots.txt如果你看过服务器日志的话，应该会发现，蜘蛛爬站，一开始都是去访问robots.txt文件，如果没有屏蔽该搜索引擎，则继续爬内容robots.txt只是一个普通的文本文件，用记事本写即可
      

  3.   

    robots.txt如何用好了，可以引来流量
      

  4.   

    DOS/Windows和Uninx或类Unix系统上文本文件的换行方式不一样,Win下面是回车+换行(CRLF),Unix下只有LF.所以,这句话的意思可能是如果在Windows下编辑的话,要以Unix格式保存文本文件,但Windows自带的Notepad没有这个功能.