ElasticSearch基础知识

短命女 2021-09-20 08:46 410阅读 0赞

### 1.基本概念

ElasticSearch是一个开源的分布式搜索引擎，具备高可靠性，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于**RESTful**接口。像Solr4一样，是基于Lucene构建的。支持时间时间索引和全文检索。官网：[http://www.elasticsearch.org][http_www.elasticsearch.org]

ElasticSearch对比Solr的优点在于：

轻量级：安装启动方便，下载文件之后一条命令就可以启动。
    Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构。
    多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置。
    分布式：Solr Cloud的配置比较复杂。

它对外提供一系列基于java和http的API，用于索引、检索、修改大多数配置。

*  分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。
 *  实时分析的分布式搜索引擎。
 *  可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

1.Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式

{ 
        "name" :     "John",
        "sex" :      "Male",
        "age" :      25,
        "birthDate": "1990/05/01",
        "about" :    "I love to go rock climbing",
        "interests": [ "sports", "music" ]
    }

2.简易的将Elasticsearch和关系型数据术语对照

关系数据库 ⇒ 数据库 ⇒ 表  ⇒ 行 ⇒ 列(Columns)
    
    Elasticsearch ⇒ 索引(Index) ⇒ 类型(type) ⇒ 文档(Docments) ⇒ 字段(Fields)

**cluster**：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

**shards**：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

**replicas**：代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

**recovery**：代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

**river**：代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。

**gateway**：代表es索引快照的存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到本地硬盘。gateway对索引快照进行存储，当这个es集群关闭再重新启动时就会从gateway中读取索引备份数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。

**discovery.zen**：代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

**Transport**：代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。

### 2.lucene倒排索引（Inverted Index） ###

ElasticSearch引擎把文档数据写入到倒排索引（Inverted Index）的数据结构中，倒排索引建立的是分词（Term）和文档（Document）之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的。

<table> 
 <thead> 
  <tr> 
   <th align="left">文档编号</th> 
   <th align="left">文档内容</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">1</td> 
   <td align="left">这是一个Go语言实现的搜索引擎</td> 
  </tr> 
  <tr> 
   <td align="left">2</td> 
   <td align="left">PHP是世界上最好的语言</td> 
  </tr> 
  <tr> 
   <td align="left">3</td> 
   <td align="left">Linux是C语言和汇编语言实现的</td> 
  </tr> 
  <tr> 
   <td align="left">4</td> 
   <td align="left">谷歌是一个世界上最好的搜索引擎公司</td> 
  </tr> 
 </tbody> 
</table>

直观的看，我们通过编号`1,2,3,4`可以很快的找到文档，但是需要通过关键词找文档，那么把上面那个表格稍微变化一下，就是倒排索引了

倒排索引【只列出了部分关键词】

实际上倒排索引就是把文档的内容切词以后重新生成了一个表格，通过这个表格，我们可以很快的找到每个关键词对应的文档，就是倒排索引的核心原理，也是搜索引擎最基础的基石。

比如，我们键入关键词`搜索引擎`  
1.我们在表格2中查到搜索引擎这个词出现在第4行  
2.找到第4行的第2列，把文档编号找出来，是1和4  
3.去第一个表格通过文档编号把每个文档的实际内容找出来  
4.将1和4的结果显示出来  
5.搜索完成

文档(Document)：一般搜索引擎的处理对象是互联网网页，而文档这个概念要更宽泛些，代表以文本形式存在的存储对象，相比网页来说，涵盖更多种形式，比如Word，PDF，html，XML等不同格式的文件都可以称之为文档。再比如一封邮件，一条短信，一条微博也可以称之为文档。在本书后续内容，很多情况下会使用文档来表征文本信息。

文档集合(Document Collection)：由若干文档构成的集合称之为文档集合。比如海量的互联网网页或者说大量的电子邮件都是文档集合的具体例子。

文档编号(Document ID)：在搜索引擎内部，会将文档集合内每个文档赋予一个唯一的内部编号，以此编号来作为这个文档的唯一标识，这样方便内部处理，每个文档的内部编号即称之为“文档编号”，后文有时会用DocID来便捷地代表文档编号。

单词编号(Word ID)：与文档编号类似，搜索引擎内部以唯一的编号来表征某个单词，单词编号可以作为某个单词的唯一表征。

倒排索引(Inverted Index)：倒排索引是实现“单词-文档矩阵”的一种具体存储形式，通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。

单词词典(Lexicon)：搜索引擎的通常索引单位是单词，单词词典是由文档集合中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息以及指向“倒排列表”的指针。

倒排列表(PostingList)：倒排列表记载了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。

倒排文件(Inverted File)：所有单词的倒排列表往往顺序地存储在磁盘的某个文件里，这个文件即被称之为倒排文件，倒排文件是存储倒排索引的物理文件。

[http_www.elasticsearch.org]: http://www.elasticsearch.org/