搜索引擎robots相关文件-robots文件

搜索引擎robots相关文件-robots文件当一个搜索蜘蛛访问网站时,首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该