最近遇到了一个robots的问题,很多人关于robots的信息和语法都没有怎么用过,我再这里分析和总结下(如何写robots.txt)。
1、robots简介:
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取 URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用"Disallow: *.gif"这样的通配符。
2、robots.txt放到那里呢?
robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站(比如 http://www.hz-seo.com)时,首先会检查该网站中是否存在http://www.hz-seo.com/robots.txt 这个文件,如果机器 人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
3、网站优化中的Robots.txt
用几个最常见的情况,直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

