陕西SEO优化师作为师，都知道robots.txt 在整站SEO优化中的重要性，如果说，你还不知道，那你下去就应该好好研究下了。
robots.txt是根据搜索引擎协议写出的文件，放在网站的根目录下，用来告诉搜索引擎这个网站里面是哪些是可以抓取的，哪些是不能抓取的，当然这只是一份协议而已，不是命令，如果搜索引擎不遵守此协议也是会直接抓取所有内容的。
陕西SEO优化师用robots主要是为了限制搜索引擎抓取一些我们不想让搜索引擎抓取的内容，例如：后台、数据库文件、模版、插件、两种路径等。
但是，robots.txt协议怎么写呢，今天陕西微动创优就来说些实用的方法：
User-Agent:对应哪个搜索引擎；
Disallow: 不允许访问哪些；
Allow: 允许访问哪些；
如果要看具体的写法，可以在很多网站的域名后加入/robots.txt,就可以显示出来对方是怎么写的，大家可以从中学习。
下面陕西SEO优化给给大家说说需要注意的地方：
1、robots中斜杠后不要空格，有空格就表示全站；
2、robots不是立马生效，1-2个月后才生效
3、:与/中间有一个空格，:前没有空格，所有都是；
4、我们可以在百度站长工具中进行校验；
实际操作中我们应该屏蔽掉没有价值的路径：
1、多路径的时候，1个页面多个路径时，只留一种路径；
2、标签、搜索等路径要屏蔽，因为涉及到中文和重复的路径；
3、屏蔽掉后台登录路径；
陕西SEO优化提醒各位，写robots一定要细心，如果你写错了一点，可能会造成搜索引擎对你网站降权的危险；这个文件为网站必备，上线前就要写好，做好。
