当一个搜索蜘蛛访问网站时，首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有，没有被口令保护的页面。
01-robots文件
（1）robots.txt是搜索引擎访问网站时查看的第一个文件，它告诉蜘蛛程序所在服务器什么文件是可以被查看。
（2）若存在robots.txt文件，搜索机器人会按照该文件中的内容来确定访问的范围；若该文件不存在，所有的搜索蜘蛛将能够访问网站上所有页面。
（3）robots.txt必须放在一个站点的根目录下，且文件名必须全部小写（真实的服务器就使用ftp上传）。
（4）建议就算允许所抓取所有内容，也要建一个空的robots.txt文件。
（5）可将sitemap网站地图放置robots.txt文件（地图写法：http://abc.com/sitemap.html）。
Robots.txt的语法写作（*号代表通配符，disallow=/*?*/表示不能访问带有？的网址，即动态网址）
A、允许所有搜索引擎访问网站所有内容
User-agent: *
Disallow:
B、禁止所有搜索引擎访问网站所有内容
User-agent: *
Disallow: /
C、只允许百度搜索引擎抓取
User-agent: Baiduspider
Disallow: /
D、如果我们禁止除百度外的一切搜索引擎索引
User-agent: Baiduspider
Disallow:
E、禁止访问某个目录，比如images
robots.txt写法如下：
User-agent: *
Disallow: /images/
02-mate robots.txt文件
（1）mate robots标签是页面head部分mate标签的一种，用于指令搜索引擎禁止索引本页内容。
（2）语法：禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。
<meta name="robots" content="noindex,nofollow">
（3）百度目前只支持nofollow和noarchive。
noindex：告诉蜘蛛不要索引本页面。
nofollow：告诉蜘蛛不要跟踪本页面上的链接（该页面所有链接）。
nosnippet：告诉搜索引擎不要在搜索结果中显示说明。
noarchive：告诉搜索引擎不要显示快照。
noodp：告诉搜索引擎不要使用开放目录中的标题和说明。
03-nofollow的使用
（1）nofollow代码型式： <a href：''http：//www.example.com/'' rel="nofollow">这里是锚文字<／a>
（2）链接的nofollow属性只适用于本链接（单个指定的链接），而mate robots标签的nofollow指的是页面所有链接。
（3）nofollow最初目的是减少垃圾链接对搜索引擎排名的影响，搜索引擎看到这个标签就不会跟踪爬行链接，也不传递链接权重和锚文字。
了解robots、mate robots、nofollow的功能，更好的保护和展现网站内容。
