通常像后台管理登录页面、会员登录与注册页面等不想让搜索引擎收录/抓取，怎么办？那办法之一就是通过robots.txt文件来实现。
Robots也称做爬虫协议，写法是robots.txt（不用写成Robots.txt），一定要放在网站根目录，其他目录无效。搜索引擎爬虫访问/抓取网站首先访问的就是robots.txt文件，其次才是index.html/index.php、网站目录等。网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。很多人知其一不知其二，懂得一些简单写法用法。但有些人仍然有所忽略，那就是涉及安全隐私的问题。
以下是个人写法，仅供参考：
User-agent: * 搜索引擎的标识，*代表包括百度、谷歌等任意引擎。要具体指定的话这里不详述了。
Disallow: /a*/ 禁止以“a”适配开头的目录下的访问，例如：admin/index.html 是不能访问的。
Disallow: /C*/ 同上，这个大写的C，要注意区分大小。
Disallow: /js/ 禁止访问js目录的任何
Disallow: /*? 禁止包含 ? 的网址，如：www.haook.cn/abc?id=88或www.haook.cn/aa?cc=2 这样的形式。
Disallow: /*.webp$ 禁止访问以.webp结尾的所有图片
Sitemap: <http://www.haook.cn/sitemap.xml> 允许访问这个网站地图文件。
这里说要注意的就是要使用网站地图指令，用"<>"将网站地图的URL地址包裹，有些人说不用加，这你看着办吧。
用*适配符号以防止黑客或恶意攻击的行为，你认为不重要的就不要用*了，直接写上全名即可，如“/js/”。
部分像谷歌搜索引擎还支持网页内写上 <meta name="robots" content="noindex,nofollow" /> 来实现其功能。
注意：对于访问您网站的抓取工具来说robots.txt 命令仅仅只是指令,robots.txt 文件中的命令并不能强制抓取工具对您的网站进行相应的抓取操作。
