Elasticsearch基础概念和工作原理分析

叁歲伎倆 2021-12-03 23:51 480阅读 0赞

# 一、Elasticsearch与Apache Lucene对比 #

## 1、Elasticsearch ##

### 优点： ###

1.  对Lucence的封装，完全支持 Apache Lucene 的接近实时的搜索
2.  通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单
3.  分布式实时文件存储，可以扩展到上百台服务器
4.  能够处理PB级别的结构化或非结构化数据
5.  es采用gateway的概念，使备份更简单
6.  有一系列熔断器，es节点发生故障时，可以进行自动分配其它节点替代
7.  支持插件机制，分词插件、同步插件、Hadoop插件、可视化插件等

### 缺点： ###

1.  需要搭建es服务和集群，前期需要做好节点、分片、内存等设计，运维成本高，需要服务器支持
2.  不支持数据聚合后分页，原因可概括为： 性能角度——聚合分页会在大量的记录中产生性能问题；正确性角度——聚合的文档计数不准确

## 2、Apache Lucene ##

### 优点： ###

1.  提供简单易用、开放源代码的全文检索引擎工具包，由java编写
2.  由开发者在此基础上开发搜索引擎，代码透明，易定位错误，比较灵活

### 缺点： ###

1.  较底层，需要额外的开发工作，所有的扩展，分布式，可靠性等都需要自己实现
2.  非实时，从建索引到可以搜索中间有一个时间延迟

## 3、Lucene与ES关系 ##

1.  Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。
2.  Elasticsearch使用Java开发，并使用Lucene作为其核心，来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

# 二、ES核心概念 #

### 1、Cluster：集群。 ###

ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。在一个分布式系统里面，可以通过多个Elasticsearch运行实例组成一个集群Cluster。

### 2、Node：节点。 ###

形成集群的每个服务器称为节点。每一个运行实例称为一个节点，每一个运行实例既可以在同一机器上，也可以在不同的机器上。

### 3、Shard：分片。 ###

Elasticsearch会把一个索引分解为多个小索引，每一个小索引就叫做分片。当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快地响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。 当你查询的索引分布在多个分片上时，ES会把查询发送给每个相关的分片，并将结果组合在一起，而应用程序并不知道分片的存在。即：这个过程对用户来说是透明的。

### 4、Replia：副本。 ###

Elasticsearch的每个分片都可以有0到多个副本，每个副本都是分片的完整复制品。为提高查询吞吐量或实现高可用性，可以使用分片副本。 ES中可以有许多相同的分片，其中之一被选择更改索引操作，这种特殊的分片称为主分片。 当主分片丢失时（例如该分片数据所在的服务器不可用时），集群将副本提升为新的主分片。Elasticsearch是去中心化的，主节点由动态选举出来，不存在单点故障。

### 5、全文检索。 ###

全文检索就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。   
全文索引就是：根据词的意义，对内容进行分词，分别创建索引。例如，”你们的激情是因为什么事情来的” 可能会被分词成：“你们“、”激情“、“什么事情“、”来“ 等token，这样当你搜索“你们” 或者 “激情”时， 都会把这句搜出来。

### 6、ES架构与Mysql数据库对比 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbmdsaW5qaWU_size_16_color_FFFFFF_t_70][]

# 三、工作原理 #

### 1、**启动过程** ###

当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。

在集群中，一个节点被选举成主节点(master node)。这个节点负责管理集群的状态，当群集的拓扑结构改变时把索引分片分派到相应的节点上。

从用户的角度来看，主节点在ElasticSearch中并没有占据着重要的地位，这与其它的系统(比如数据库系统)是不同的。实际上用户并不需要知道哪个节点是主节点；所有的操作需求可以分发到任意的节点，ElasticSearch内部会完成这些让用户感到不明觉历的工作。在必要的情况下，任何节点都可以并发地把查询子句分发到其它的节点，然后合并各个节点返回的查询结果。最后返回给用户一个完整的数据集。所有的这些工作都不需要经过主节点转发(节点之间通过P2P的方式通信)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbmdsaW5qaWU_size_16_color_FFFFFF_t_70 1][]

### 2、**探测失效节点** ###

1.  关系型数据库中的数据库（DataBase），等价于ES中的索引（Index） 
2.  一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type）， 
3.  一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。 
4.  在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。 与之对应的，在ES中：Mapping定义索引下的Type的字段处理规则，即索引如何建立、索引类型、是否保存原始索引JSON文档、是否压缩原始JSON文档、是否需要分词处理、如何进行分词处理等。 
5.  在数据库中的增insert、删delete、改update、查search操作等价于ES中的增PUT/POST、删Delete、改\_update、查GET.

在正常工作时，主节点会监控所有的节点，查看各个节点是否工作正常。如果在指定的时间里面，节点无法访问，该节点就被视为出故障了，接下来错误处理程序就会启动。集群需要重新均衡——由于该节点出现故障，分配到该节点的索引分片丢失。其它节点上相应的分片就会把工作接管过来。换句话说，对于每个丢失的主分片，新的主分片将从剩余的分片副本(Replica)中选举出来。重新安置新的分片和副本的这个过程可以通过配置来满足用户需求。

由于只是展示ElasticSearch的工作原理，我们就以下图三个节点的集群为例。集群中有一个主节点和两个数据节点。主节点向其它的节点发送Ping命令然后等待回应。如果没有得到回应(实际上可能得不到回复的Ping命令个数取决于用户配置)，该节点就会被移出集群。

主节点会去读取集群状态信息；在必要的时候，会进行恢复工作。在这个阶段，主节点会去检查哪些分片可用，决定哪些分片作为主分片。处理完成后，集群就会转入到黄色状态。

这意味着集群已经可以处理搜索请求了，但是还没有火力全开(这主要是由于所有的主索引分片(primary shard)都已经分配好了，但是索引副本还没有)。接下来需要做的事情就是找到复制好的分片，并设置成索引副本。当一个分片的副本数量少了，主节点会决定将缺少的分片放置到哪个节点中，并且依照主分片创建副本。所有工作完成后，集群就会变成绿色的状态(表示所有的主分片的索引副本都已经分配完成)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbmdsaW5qaWU_size_16_color_FFFFFF_t_70 2][]

# 四、相关文档 #

[es结构和工作原理概述][es]

[Elasticsearch学习，请先看这一篇！][Elasticsearch]

[ElasticSearch查询—分页查询详解][ElasticSearch]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbmdsaW5qaWU_size_16_color_FFFFFF_t_70]: /images/20211203/602120437b2a4fbf899598c08682bc82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbmdsaW5qaWU_size_16_color_FFFFFF_t_70 1]: /images/20211203/54933ac0d0314230a6ebf2f4c54cdd23.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbmdsaW5qaWU_size_16_color_FFFFFF_t_70 2]: /images/20211203/3feac52397e14fca8d4c9b2bda1b3f13.png
[es]: https://blog.csdn.net/duanduanpeng/article/details/72633148
[Elasticsearch]: https://blog.csdn.net/chinawangfei/article/details/80491033
[ElasticSearch]: https://blog.csdn.net/u013514928/article/details/78749419