2016EME学习第六天：robots.txt的用法及设置
一.什么是robots文件
robots.txt：存放在空间根目录；限制搜索引擎对网站内容抓取的协议文件；如果根目录下没有该文件，表示网站所有网页都允许被抓取；
二.robots文件的格式和内容
1.robots是txt格式的文件，放置在网站的根目录
2.robots文件的写法
User-agent:蜘蛛名称(*代表所有蜘蛛)
Disallow:不允许被抓取的文件路径(不写域名，/表示根目录)
例1：
User-agent: *
Disallow:
表示网站所有内容都允许抓取；跟没有robots.txt是一样的
例2：
User-agent: Baiduspider
Disallow: /
表示网站所有内容不允许被百度抓取；
例3：
User-agent: *
Disallow: /?p=*
表示网站中满足 网址/?p=参数的URL都不被抓取，例如网址/?p=1；网址/?p=2；网址/?p=3；
三.robots在SEO中的作用
1.死链接提交，如果网站中出现了死链接，是对我们网站的SEO有较大影响的，这时候可以利用robots文件，禁止抓取这些死链接，然后提交到百度站长的死链提交工具，从而解决这个问题。
2.robots.txt放网站xml地图：Sitemap:url/sitemap.xml，告诉蜘蛛我们的网站地图在哪里，提升搜索引擎的抓取效率
3.禁止搜索引擎抓取我们不想被抓取的文件
如果对你有一点点帮助，请百度钟震讲网络营销或者长沙网络营销师.!大恩不言谢，本人真诚建站
原文地址http://www.sheiyouqian.com/eme/1188.html
