搜索引擎爬虫的【de】工作【zuò】流【liú】程，是SEO的基础篇章，也是【shì】每一位从事SEO工【gōng】作的【de】同仁都【dōu】应该掌握的必【bì】备知识。赵彦刚通过整理，绘制了一【yī】张图，以便于你不懂技术【shù】也能看懂【dǒng】搜索引擎爬【pá】虫的工【gōng】作流程，下面【miàn】我们【men】一起说一下。

话不多说，先上图：

如上图，请大家在阅读下文的时候，对照图中的标号和我一起思考。

1、种子URL

1、所谓种子URL所指的就是最开始选定的URL地址，大多【duō】数情况【kuàng】下，网站的【de】首页、频道页等丰富性【xìng】内【nèi】容更多的【de】页【yè】面会被作【zuò】为种子【zǐ】URL；

然后将这些种子URL放入到待抓取的URL列表中；

2、待抓取URL列表

爬【pá】虫从【cóng】待抓取的【de】URL列表【biǎo】中逐个进行读取，读取【qǔ】URL的过程中，会将URL通过【guò】DNS解【jiě】析，把这个URL地址转换成网站【zhàn】服务器【qì】的【de】IP地址+相对路径的方式；

3、网页下载器

接【jiē】下来【lái】把这个地址交给网页下【xià】载器（所谓【wèi】网页下载器，顾名【míng】思义就是【shì】负【fù】责下载【zǎi】网【wǎng】页内容的一个模块）；

4、源代码

对于【yú】下【xià】载【zǎi】到本地的网页，也就是我们网页的源代码，一方面要将这个【gè】网页【yè】存储到网页库【kù】中，另一方【fāng】面【miàn】会从下【xià】载网页【yè】中【zhōng】再次提取URL地址。

5、抽取URL

新提取【qǔ】出来的URL地【dì】址会先在已抓取的URL列表中【zhōng】进行【háng】比对，检查一【yī】下【xià】这个网页【yè】是不是被抓取了。

6、新URL存入待抓取队列

如果网页没有被抓取【qǔ】，就【jiù】将新的URL地址放入到【dào】待抓取的URL列表的末尾，等待【dài】被抓取【qǔ】。

就这样循环的工作着，直到待抓【zhuā】取队列为空的【de】时候，爬虫【chóng】就算完成了【le】抓取【qǔ】的全过【guò】程【chéng】。

然后以【yǐ】下载的【de】网页，就都会进入到一定的分析【xī】中，分析【xī】后进行索引，我【wǒ】们就能看到收录结果了【le】。

对【duì】于真正的爬虫来说【shuō】，先【xiān】抓哪些页面、后抓【zhuā】哪些页面，以及不抓哪【nǎ】些页面【miàn】等等都是有一定的【de】策【cè】略的，这里讲述的是一个【gè】比较【jiào】通【tōng】过、普遍的爬虫抓【zhuā】取【qǔ】流【liú】程，身为【wéi】SEO的我们，知道这些足以