爬虫软件工程师教你怎么做SEO，没有什么比我们更了解搜索引擎我们接触的都是数据聚合类的网站至少千万数据或搜索引擎。URL就是人为设定一些URL供給爬虫抓取。可以理解为抓取的入口URL，通过其内部链接再扩散抓取。
搜索引擎原理
在搜索引擎网站的后台会有一个非常庞大的索引库，里面存储了海量的关键词，而每个关键词又对应着很多网址，这些网址是被称之为“搜索引擎蜘蛛”或“网络爬虫”程序从茫茫的互联网上一点一点下载收集而来的。随着各种各样网站的出现，这些勤劳的“蜘蛛”每天在互联网上爬行，从一个链接到另一个链接，下载其中的内容，进行分析提炼，找到其中的关键词，如果“蜘蛛”认为关键词在数据库中没有而对用户是有用的便存入后台的数据库中。反之，如果“蜘蛛”认为是垃圾信息或重复信息，就舍弃不要，继续爬行，寻找最新的、有用的信息保存起来提供用户搜索。当用户搜索时，就从索引库能检索出与关键字相关的网址显示给访客。一个关键词对应多个网址，因此就出现了排序的问题，相应的网站与关键词最吻合的网址就会排在前面了。在“蜘蛛”抓取网页内容，提炼关键词的这个过程中，就存在一个问题：“蜘蛛”能否看懂。如果网站内容是Flash和JS等，那么它是看不懂的，即使关键字再贴切也没用。相应的，如果网站内容可以被搜索引擎识别，那么搜索引擎就会提高该网站的权重，增加对该网站的友好度，进而提升网站的排名。
百度收录困难的原因？大量站点被k了明天又放出来的原因。
通过百度蜘蛛下载回来的网页放到补充数据区，通过各种程序计算过后才放到检索区，才会形成稳定的排名，所以说只要下载回来的东西都可以通过指令找到，补充数据是不稳定的，有可能在各种计算的过程中给k掉，检索区的数据排名是相对比较稳定的，百度目前是缓存机制和补充数据相结合的，正在向补充数据转变。
百度蜘蛛抓取策略
深度优先和权重优先，百度蜘蛛抓页面的时候从起始站点（即种子站点指的是一些门户站点）是百度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指反向连接较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。
不要触犯搜索引擎最大禁忌
百度蜘蛛似乎更注重网站页面的层次结构。与Google相比，百度蜘蛛更加重视网站内部页面结构的层次，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，不相信你做100个页面，做得再漂亮，只要链接没有层次，你最多就孤零零的被收录可怜的一点点东西。
搜索引擎告诉你怎么做好SEO？
不论站长们做的是什么类型的网站，其站内结构一定要简洁明了，站长们需要知道的知识之一。一般的网站在设计时页面层次不要超过三层，现在很多的仓储货架的网站层次都超过了三层。页面文件名可以用字母或者数字，但千万不要用很长的中文转英文插件，那样做对收录没任何好处。并且做站过程中添加内容时建议大家都采用生成静态或者伪静态技术处理，这样有利网站在搜索引擎中的友好度。
我就是使用爬虫软件+技术处理打造了一个权6的网站
采集伪原创：TensorFlow人工智能引擎/分词算法/DNN算法采用多线程分段式精密化处理，结合机器学习，人工智能，百度大脑的自然语言分词，词性分析，词法依存等相关技术让所有搜索引擎认为这是一篇原创文章
图片伪原创：背景融合算法，可将1张图片伪原创出N张原创图片
模板伪原创：改变 图片名称、js名称、css名称、改变图片MD5、改变class样式名
