之前我发了一篇文章《郑义文SEO博客的robots.txt写法》，这里提到了robots.txt，有朋友就反应让我先写下什么是robots。
robots是搜索引擎的入口文件，在索引网站内容之前会先爬行robots.txt，因此有robots.txt文件会有更好的搜索体验。
robots.txt是用于指定搜索spider在网站上的抓取范围，在robots.txt中声明不想被搜索引擎收录部分或者指定搜索引擎只收录的部分(详见：百度对robots.txt的解释)
具体的robots.txt怎么写百度上已经有很详细的介绍了，下面介绍两个相关的工具。
1. bing的robots.txt验证工具，主要用于检验有没有写错，例如没有标明Sitemap，这个工具就会有一个警告。
2. Google管理员工具里面的robots.txt工具，这个要比bing的强大多了，可以利用这个工具生成robots.txt文件，也可以测试是否屏蔽掉想要屏蔽的内容。
通过百度的具体介绍，再结合本博的实例，相信大家很快就了解robots.txt了

大家看了百度对robots.txt的解释，文章中并没有提到Sitemap，因此很有可能百度对robots上的Sitemap不支持,Google是支持的。

在robots.txt上增加Sitemap的格式如下：
Sitemap: 你网站Sitemap的地址
例如大家可以看看郑义文博客的robots.txt的写法：http://www.zhengyiwen.com/robots.txt

2010年4月30日更新：据百度方面证实，百度不支持通过robots提交Sitemap