robots文件-robots文件robots. txt的具体用途： 一般来说可以使用 robots. txt文件来屏蔽不想被搜索引擎抓取的页面,但是这些“不想被抓取