robots.txt是站长在做网站优化的时候常用的工具之一，作用就是告诉搜索引擎，那些文件是可以抓取的，那些文件是不让抓取的。下面就来为大家分享，robots.txt的写法。

写Robots之前，我们可以先登录网站的根目录，先整理好哪些文件夹不想背搜索引擎爬抓。

然后最后Robots.txt的写法如下。
# robots.txt
User-agent: *
Allow: /
Disallow: /aspnet_client
Disallow: /bot
Sitemap:http://域名地址.com//sitemap.xml
其中：
Disallow后面的文件夹是禁止搜索引擎抓取的。

然后保存成robots.txt

然后登录自己的网站ftp，把制作好的robots.txt文件复制到网站的根目录即可。

最后登录百度站长工具，检测是否提交成功，检测出robots.txt文件即可。

通常可以利用这些工具来写Robots。