robots文件的写法
rotbots.txt文件用于告诉搜索引擎蜘蛛禁止抓取网站的某些内容或者指定运行抓取某些内容。 nMK$&h,{‑
搜索引擎蜘蛛在访问站点首页就会擦看网站根目录下的robots.txt，robots.txt必须全部为英文小写状态才生效。 }xryRobots.txt的写法（1） H:)_[1];k
基本规则：user-agent该项的值用于描述搜索引擎蜘蛛的名字。如果该项值设为*，则该协议对任何机器人均有效。 UM/!dt}DnF
Disallow：该项的值用于描述不希望被访问到一个url，一个目录或者整个网站，以disallow开头的url均不会被搜索引擎蜘蛛访问到。任何一条disallow记录为空，说明该网站的所有部分都被抓取。 u M\5G[1]K
Robots.txt的写法（2） Eq0.000000`Qg+1E
基本规则： 84!H[1]d.H
Allow：告诉蜘蛛应该抓取某些文件，由于不指定就是允许抓取， Bf.iRh0Q5
Allow：单独写没有意义，allow和disallow配合使用，可以告诉蜘蛛某个项目下大部分不允许抓取，只允许抓取一部分。 ‑?
q‑b35
用法举例：不抓取/ab/目录下其他目录和文件，但允许抓取其中/cd/目录下的内容。 l/,la]!T
User-agent:* @C<ofg3E
Disallow：/ab/ _RI
lGs\.
Robots.txt的写法（3） 'J$@~
P
基本规则： eyu‑yaSE
通配符：匹配url结尾的字符 =Pamp;]5ts
*通配符：告诉蜘蛛匹配任意一段字符 ; N
H^+h
用法举例：允许蜘蛛抓取以.html为后缀的URL Ia< V\$#
User-agent：* X 5\\xq+Ih
Allow：html$ M!kSt[1]1
禁止百度去抓取所有的.JPG文件 E#\Oe_eq~N
User-agent:baiduspider m8;w7S7,j~
Disallow： T-#4hY`
Robots.txt的写法（4） O
,9^R
基本规则： ^vPsp?
Sitemap位置：告诉蜘蛛xml网站地图在哪里 5.*,IedY
告诉蜘蛛xml网站地图的位置 l^d'8n
第一个S大写 Sitemap：http://www.uwewe.com
弈安传媒科技微课堂,每天分享财经资讯,计算机技术知识,人生感悟,创业指导以及各种专业技术知识资料学习交流.移动学习平台、知识分享平台。随时随地的学习,如果你喜欢成长,这里你不容错过的地方.弈安传媒科技培训关注:关注自己成长,分享内容,分享自己的技术,成就未来.
[弈安传媒科技提升自己的平台]请关注:头条号及公众号 弈安传媒科技
