ElasticSearch - 分布式搜索引擎底层实现——倒排索引

柔光的暖阳◎ 2024-03-02 10:24 68阅读 0赞

**目录**

一、ElasticSearch

1.1、ElasticSearch 是什么？

1.2、ElasticStack 是什么?

1.3、正向索引和倒排索引

1.3.1、正向索引

1.3.2、倒排索引

a）倒排索引的创建过程：

b）倒排索引的查询过程：

c）分析总结：

1.3.3、倒排索引的适用场景

--------------------

## 一、ElasticSearch ##

--------------------

### 1.1、ElasticSearch 是什么？ ###

ElasticSearch 是一个非常强大的搜索引擎，可以帮助我们从海量的数据中，快速的找到所需要的内容.

*就比如说，咱们大家去淘宝上买东西，你输入了一个商品信息，他是不是立马就搜索出跟你输入关键字有关的信息，例如你输入的关键词是 "IPhone"，就可以看到会搜索出各式各样的信息，“IPhone 13 特惠”、"IPhone 10 二手出售".... 甚至还可以看到 IPhone 这个关键字，还变成红色的了，这就叫做高亮显示，是为了更清晰醒目一些.*

### 1.2、ElasticStack 是什么? ###

这里实际上还有几个组件是和 ElasticSearch 一起搭配使用的，分别是 Kibana、Logstash、Beats，他们结合就是 ElasticStack 技术栈.

![36532c5b76024e82906e74d75e6ce715.png][]

这套东西，被广泛的应用**在微服务的日志数据分析和实时监控.**

**日志数据分析：**我们项目在运行的过程中，会产生海量的日志信息，这些大家平常也不少见~ 这些日志信息，就是方便我们去定位系统出现的问题，假设你系统报错了，在线上运行的时候，你总不可能去打断点 debug 吧，**那一般就是通过先通过 Logstash 进行日志数据的抓取，elasticsearch 存储、计算、搜索数据，最后通过 Kibana 进行数据可视化给你展示处理**，这样，你将来去作日志分析的时候，就非常方便了.

**实时监控：**在项目运行的时候，他的运行状态也是数据，比如 cpu 、内存情况、访问的频率等等，这些信息也会被 es 管理起来，然后通过可视化给你展示处理啊，这样你就能清除的知道项目的运行情况了.

但实际上，在 ElasticStack 中，Kibana 、Logstash、Beats 这三个组件都是可以替换的，官方提供给你，想用就用，不用也没关系，就比如 淘宝在展示搜索结果的时候，都是有自己的网页自己去展示，就不一定是通过 Kibana 生成的数据报表来展示.但是不可替代的就是 elasticsearch 这个核心（也是之后讲解的重点）.

### 1.3、正向索引和倒排索引 ###

#### 1.3.1、正向索引 ####

传统数据库（比如 mysql）就是采用正向索引.

![91582d27e1b44ba6b71d5797ae8beab9.png][]

假如我这里有一张数据库表，一般都会基于 id 去创建一个索引，形成一个 b+ 树，那么根据 id 进行检索的速度就会非常快，那么这种方式就是正向索引. 但是如果现在搜索的字段不是 id，是一个普通的标题字段（一般内容会比较长），所以你不会给他加索引.

**那就算你给他加了索引，如果我现在要搜索的不是一个精确的标题值，我只搜其中的一部分，这时候你怎么办？**你不是要来一个 select \* from 表 where 标题 like 什么... 一旦使用了这样的模糊匹配，即使这个字段有索引，将来也是不生效的，最终导致数据库就会采用逐条扫描的方式，判断每一行数据中是否包含 标题关键字 ，如果不包含就抛弃，如果包含就放到结果集中. 这样一来，假如你有 10亿 条数据，就意味着要扫描 10 亿次啊！性能可想而知. 这也便是正排索引.

#### 1.3.2、倒排索引 ####

elasticsearch 的底层就是采用倒排索引，并且这里涉及到两个概念：

*  **文档：**每条数据就是一个文档（例如 mysql 表中的一行数据，比如商品表中，一个商品就是一个文档，用户表中一个用户就是一条数据）.
 *  **词条：**文档按照语义分成的词语，比如 “华为手机” 这四个字，就可以分成 “华为”和 “手机” .

##### a）倒排索引的创建过程： #####

假设有一张商品表：

![91582d27e1b44ba6b71d5797ae8beab9.png][]

1. 为 商品表 中 商品名称 倒创建倒排索引时候，会把 商品名称 中的内容分成词条去存储，比如商品名称是 “小米手机” ，那么就把这个标题进行分词得到两个词语 “小米” 和 “手机” 去存储起来.

2. 此时，比如把 “小米” 拿过来存储时，同时也会把他的 id 记录到他的文档中，而 “手机” 这个词就会存到一个新的文档，同时记录他的 id.

3. 如果下一条数据的 商品名称 被分词后又得到了 "手机" 这个词条，就会把他的 id 存到词条相同的文档中.

4. 以此类推，最后数据组织完成了，就可以给得到的所有词条创建索引了，这样，将来根据词条查询的速度是不是就更快了.

![31a8dcb2c82e4db3aa1a9427dd7b68e1.png][]

##### b）倒排索引的查询过程： #####

1. 比如现在来搜索一下 “华为手机”，首先会将他进行分词，得到得到两个词条，“华为”和“手机”.

2. 接下来拿着词条去倒排索引中进行查询，由于刚才就是根据 词条 建立的索引，所以一查就能立刻查到，词条 "华为" 所包含的文档 id（假设 id 有 2，3） ，以及“手机” 所包含的文档 id（假设 id 有 1，2），这时候也就相当于知道了 “华为手机” 包含的所有文档（1，2，3）.

3. 其中 id = 2 的商品信息存在于两个文档中，也就是说 id = 2 的商品名称更符合你的搜索的信息，那么将来还会按照这个匹配程度给你排序.

4. 此时，拿着这些 id 就可以去正向索引里查询文档了，而正向索引这边不就是根据 id 建立的索引么，那么拿着 id 就可以快速定位到文档了，将查询到的数据按照排序的 id 放到结果集中.

##### c）分析总结： #####

根据上述过程，我们可以看到，搜索的过程经历了两次检索：

*  **第一次是根据用户输入的内容的词条，去找到对应的文档 id.**
 *  **第二次是拿着文档 id 来找文档.**

这样的查询效率，相比于正向索引中搜索 包含手机关键字的 数据，一行一行去查找就要快的多了.

倒那么这里也能够看出，**排索索引为什么是倒排了，因为正向索引中，得一行一行找，找到匹配的放到结果集中，而倒排索引就是反过来，基于词条创建索引，搜多的时候，就是根据词找到对应的文档（正向索引就是根据文档来找词**）.

#### 1.3.3、倒排索引的适用场景 ####

倒排索引更擅长查询文档的部分内容，比如你去浏览器里搜索内容的一部分关键词，或者是搜索商品信息之类的等等.

这也就是为什么 elasticsearch 是基于 倒排索引 实现的搜索引擎了~~

![3169dae9f59b4eb8b54fa7ff3904a19d.gif][]

[36532c5b76024e82906e74d75e6ce715.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/102bfbccc3bb4238a27b3d7793fce47b.png
[91582d27e1b44ba6b71d5797ae8beab9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/ed56c5a1b33f4146bd2602e8ece4e0f6.png
[31a8dcb2c82e4db3aa1a9427dd7b68e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/a5d5912ad63f438a8bd9bbac45c71f66.png
[3169dae9f59b4eb8b54fa7ff3904a19d.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/05342d79b9ba488eac1e57c673f15526.png