什么是robots文件？-robots文件搜索引擎收录网站页面是需要通过蜘蛛访问网站，并对页面内容进行抓取。想要详细了解，就需要知道什么是robots

如何制作robots?如何写robots文件?-robots文件对于robots来说，首先它是一个协议，对于网站的抓取起到非常重要的作用，创建robots的意义在于