全文搜索引擎Elasticsearch入门了解

柔光的暖阳◎ 2022-12-04 05:23 240阅读 0赞

# 一. 简要介绍 #

Elasticsearch是实时的分布式搜索分析引擎，底层基于Lucene。Lucene是Java语言编写的全文搜索框架，用于处理纯文本的数据，但它只是一个库，提供建立索引、执行搜索等接口，但不包含分布式服务，这些正是 ES 做的。

# 二. 使用场景 #

基于ES，我们可以很容易地搭建自己的搜索引擎，用于分析日志，或者配合开源爬虫建立某个垂直领域的搜索引擎。除了搜索，ES 还提供了大量的聚合功能，所以它不单单是一个搜索引擎，还可以进行数据分析、统计，生成指标数据。

# 三. 基本概念 #

#### 1. Node和Cluster ####

Elasticsearch 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elasticsearch 实例。

单个 Elasticsearch 实例称为一个节点（node）。一组节点构成一个集群（cluster）。

#### 2. Index ####

Elasticsearch 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。

所以，Elasticsearch 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。每个 Index （即数据库）的名字必须是小写。

下面的命令可以查看所有的Index：  
curl -X GET ‘http://localhost:9200/\_cat/indices?v’

####  3. Document ####

ES是面向文档的。各种文本内容以文档的形式存储到ES中，文档可以是一封邮件、一条日志，或者一个网页的内容。一般使用 JSON 作为文档的序列化格式，文档可以有很多字段。

Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。

同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。

#### 4. Type ####

Document 可以分组，比如book Index 里面，可以按出版社分组（人教版和北师大版等），也可以按学科分组（语文和英语等）。这种分组就叫做 Type，它是虚拟的逻辑分组，用来过滤 Document。

不同的 Type 应该有相似的结构（schema），举例来说，id字段不能在这个组是字符串，在另一个组是数值。性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。

下面的命令可以列出每个 Index 所包含的 Type：  
curl ‘localhost:9200/\_mapping?pretty=true’

Elastic 6.x 版只允许每个 Index 包含一个 Type，7.x 版将会彻底移除 Type。  
在存储结构上，由\_index、\_type和\_id唯一标识一个文档。

#### 5. Shard ####

在分布式系统中，单机无法存储规模巨大的数据，要依靠大规模集群处理和存储这些数据，一般通过增加机器数量来提高系统水平扩展能力。因此，需要将数据分成若干小块分配到各个机器上。然后通过某种路由策略找到某个数据块所在的位置。

除了将数据分片以提高水平扩展能力，分布式存储中还会把数据复制成多个副本，放置到不同的机器中，这样一来可以增加系统可用性，同时数据副本还可以使读操作并发执行，分担集群压力。

为了应对并发更新问题，ES将数据副本分为主从两部分，即主分片（primaryshard）和副分片（replica shard）。主数据作为权威数据，写过程中先写主分片，成功后再写副分片，恢复阶段以主分片为准。

分片（shard）是底层的基本读写单元，分片的目的是分割巨大索引，让读写可以并行操作，由多台机器共同完成。读写请求最终落到某个分片上，分片可以独立执行读写工作。ES利用分片将数据分发到集群内各处。

分片是数据的容器，文档保存在分片内，不会跨分片存储。分片又被分配到集群内的各个节点里。当集群规模扩大或缩小时，ES 会自动在各节点中迁移分片，使数据仍然均匀分布在集群里。

# 四. 版本比较 #

ES的版本更新速度很快，从初始版本到现在已经更新至7.x版本，下面是各个重要版本的简单介绍：

#### 1) 初始版本 ####

2010年5月14日发布,第一个可以查询到发版信息的版本，重要特性：

• Zen Discovery 自动发现模块

• Groovy Client支持

• 简单的插件管理机制

• 更好支持ICU分词器

#### 2) 1.0.0 版本 ####

2014年2月14日发布，重要特性：

• Snapshot/Restore API 备份恢复API

• 支持聚合分析Aggregations

• 支持联盟查询

• CAT API 支持

• 断路器支持

#### 3) 2.0.0 版本 ####

2015年10月28日发布，重要特性：

• 增加了 pipleline Aggregations

• query/filter 查询合并，都合并到query中，根据不同的上下文执行不同的查询  
• 存储压缩可配置

• Multicast 组播发现被移除，成为一个插件，生产环境必须配置单播地址

#### 4) 新特性5.0.0 版本 ####

2016年10月26日发布，重要特性：

• Lucene 6.x 的支持，磁盘空间少一半；索引时间少一半；查询性能提升25%；支持IPV6

• Internal engine级别移除了用于避免同一文档并发更新的竞争锁，带来15%-20%的性能提升

• 提供了第一个Java原生的REST客户端SDK，基于HTTP协议的客户端对Elasticsearch的依赖解耦，没有jar包冲突，提供了集群节点自动发现、日志处理、节点请求失败自动进行请求轮询，充分发挥Elasticsearch的高可用能力

• Shrink API ，它可将分片数进行收缩成它的因数

• 新增 Sliced Scroll类型，现在Scroll接口可以并发来进行数据遍历了。每个Scroll请求，可以分成多个Slice请求，可以理解为切片，各Slice独立并行，利用Scroll重建或者遍历要快很多倍

• 引入新的字段类型 Text/Keyword 来替换 String

• 限制索引请求大小，避免大量并发请求压垮 ES

• 限制单个请求的 shards 数量，默认 1000 个

#### 5) 新特性6.0.0 版本 ####

2017年8月31日发布，重要特性：

• Index sorting，即索引阶段的排序

• Removal of types，在 6.0 里面，不支持一个 index 里面存在多个 type

• Index-template inheritance，索引版本的继承，之前的索引模板是所有匹配的都会合并，这样会造成索引模板有一些冲突问题， 6.0 将会只匹配一个，索引创建时也会进行验证

• Load aware shard routing， 基于负载的请求路由，之前的搜索请求是全节点轮询，那么性能最慢的节点往往会造成整体的延迟增加，新的实现方式将基于队列的耗费时间自动调节队列长度，负载高的节点的队列长度将减少，让其他节点分摊更多的压力，搜索和索引都将基于这种机制

• 已经关闭的索引将也支持 replica 的自动处理，确保数据可靠

#### 6) 新特性7.0.0版本 ####

2019年4月10日发布，重要特性：

• 集群连接变化：TransportClient被废弃

• ES程序包默认打包jdk

• Lucene9.0

• 正式废除单个索引下多Type的支持，在es7中使用默认的\_doc作为type

• 引入了真正的内存断路器，它可以更精准地检测出无法处理的请求，并防止它们使单个节点不稳定

• Zen2 是 Elasticsearch 的全新集群协调层，提高了可靠性、性能和用户体验，变得更快、更安全

全文搜索引擎Elasticsearch入门了解

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关全文搜索引擎 Elasticsearch 入门教程

相关分布式全文搜索引擎（ElasticSearch）

相关全文搜索引擎 Elasticsearch 安装

相关全文搜索引擎Elasticsearch入门了解

相关全文搜索引擎 Elasticsearch 入门教程

相关全文搜索引擎 ElasticSearch 入门教程

相关 ElasticSearch全文搜索引擎-入门篇

相关全文搜索引擎ElasticSearch初使用

相关全文搜索引擎 Elasticsearch 入门

相关全文搜索引擎 Elasticsearch 入门教程