最近遇到了一个robots的问题，很多人关于robots的信息和语法都没有怎么用过，我再这里分析和总结下(如何写robots.txt)。
1、robots简介：
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取 URL，所以目录末尾有和没有斜杠“/”这两种表示是不同的URL，也不能用"Disallow: *.gif"这样的通配符。
2、robots.txt放到那里呢？
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站（比如 http://www.hzsem.cn）时，首先会检查该网站中是否存在http://www.hzsem.cn/robots.txt 这个文件，如果机器 人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
3、网站优化中的Robots.txt
用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
