2016网络营销学习第六天:robots.txt的用法及设置-robots文件

2016网络营销学习第六天:robots.txt的用法及设置-robots文件

2016EME学习第六天:robots.txt的用法及设置

一.什么是robots文件

robots.txt:存放在空间根目录;限制搜索引擎对网站内容抓取的协议文件;如果根目录下没有该文件,表示网站所有网页都允许被抓取;

二.robots文件的格式和内容

1.robots是txt格式的文件,放置在网站的根目录

2.robots文件的写法

User-agent:蜘蛛名称(*代表所有蜘蛛)

Disallow:不允许被抓取的文件路径(不写域名,/表示根目录)

例1:

User-agent: *

Disallow:

表示网站所有内容都允许抓取;跟没有robots.txt是一样的

例2:

User-agent: Baiduspider

Disallow: /

表示网站所有内容不允许被百度抓取;

例3:

User-agent: *

Disallow: /?p=*

表示网站中满足 网址/?p=参数的URL都不被抓取,例如网址/?p=1;网址/?p=2;网址/?p=3;

三.robots在SEO中的作用

1.死链接提交,如果网站中出现了死链接,是对我们网站的SEO有较大影响的,这时候可以利用robots文件,禁止抓取这些死链接,然后提交到百度站长的死链提交工具,从而解决这个问题。

2.robots.txt放网站xml地图:Sitemap:url/sitemap.xml,告诉蜘蛛我们的网站地图在哪里,提升搜索引擎的抓取效率

3.禁止搜索引擎抓取我们不想被抓取的文件

如果对你有一点点帮助,请百度钟震讲网络营销或者长沙网络营销师.!大恩不言谢,本人真诚建站

原文地址http://www.sheiyouqian.com/eme/1188.html

推荐阅读