什么是robots文件？-robots文件搜索引擎收录网站页面是需要通过蜘蛛访问网站，并对页面内容进行抓取。想要详细了解，就需要知道什么是robots