搜索框架Elasticsearch

绝地灬酷狼 2024-04-19 12:49 90阅读 0赞

**Elasticsearch详解: [https://www.jianshu.com/p/28fb017be7a7][https_www.jianshu.com_p_28fb017be7a7]**

### **一、ES** ###

ES=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。  
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

Elasticsearch官网：[https://www.elastic.co/cn/products/elasticsearch][https_www.elastic.co_cn_products_elasticsearch]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70][]

如上所述，Elasticsearch具备以下特点：

*  分布式，无需人工搭建集群（solr就需要人为配置，使用Zookeeper作为注册中心）
 *  Restful风格，一切API都遵循Rest原则，容易上手
 *  近实时搜索，数据更新在Elasticsearch中几乎是完全同步的。

### 二、ES主要特点： ###

1、特点：全文检索，结构化检索，数据统计、分析，接近实时处理，分布式搜索(可部署数百台服务器)，处理PB级别的数 据 搜索纠错，自动完成  
2、使用场景：日志搜索，数据聚合，数据监控，报表统计分析  
3、国内外使用者：维基百科，Stack Overflow，GitHub

### 三、 ES工作原理 ###

当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。这个过程如下图所示：

![è¿éåå¾çæè¿°][20160818205953345]

### 四、ES核心概念 ###

#### 1）Cluster：集群 ####

ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。

#### 2）Node：节点 ####

形成集群的每个服务器称为节点。

#### 3）Shard：分片 ####

当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。  
当你查询的索引分布在多个分片上时，ES会把查询发送给每个相关的分片，并将结果组合在一起，而应用程序并不知道分片的存在。即：这个过程对用户来说是透明的。

#### 4）Replia：副本 ####

为提高查询吞吐量或实现高可用性，可以使用分片副本。  
副本是一个分片的精确复制，每个分片可以有零个或多个副本。ES中可以有许多相同的分片，其中之一被选择更改索引操作，这种特殊的分片称为主分片。  
当主分片丢失时，如：该分片所在的数据不可用时，集群将副本提升为新的主分片。

#### 5）全文检索 ####

全文检索就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。  
全文索引就是把内容根据词的意义进行分词，然后分别创建索引，例如”你们的激情是因为什么事情来的” 可能会被分词成：“你们“，”激情“，“什么事情“，”来“ 等token，这样当你搜索“你们” 或者 “激情” 都会把这句搜出来。

### 五、ES数据架构的主要概念（与关系数据库Mysql对比） ###

![这里写图片描述][20160818210034345]

（1）关系型数据库中的数据库（DataBase），=》ES中的索引（Index）  
（2）一个数据库下面有N张表（Table），=》1个索引Index下面有N多类型（Type），  
（3）一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，=》1个Type由多个文档（Document）和多Field组成。  
（4）在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。 与之对应的，在ES中：Mapping定义索引下的Type的字段处理规则，即索引如何建立、索引类型、是否保存原始索引JSON文档、是否压缩原始JSON文档、是否需要分词处理、如何进行分词处理等。  
（5）在数据库中的增insert、删delete、改update、查search操作 =》ES中的增PUT/POST、删Delete、改\_update、查GET.

### 六、ES客户端插件 ###

为了方便我们开发的时候查看数据，我推荐安装一个Elasticsearch的客户端工具，必要的Head、kibana、IK（中文分词）、graph等插件的详细安装和使用。  
Elasticsearch-head配置包，下载地址：[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

IK Analyzer 3.0下载地址： [http://www.oschina.net/news/2660][http_www.oschina.net_news_2660]

### **七、 ES windows下一键安装** ###

**目前Elasticsearch最新的版本是7.3.2，我这里使用的版本是5.6.8**

**安装Elasticsearch前提条件：JDK1.8及以上**

[https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 2][]

**下载之后解压，进入elasticsearch/bin目录，可以看到下面的执行文件：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 3][]

**双击运行：**

![20190918154337799.png][]

**看到绑定了两个端口:**

*  9300：Java程序访问的端口
 *  9200：浏览器、postman访问的端口

在浏览器中访问：[http://127.0.0.1:9200][http_127.0.0.1_9200]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 4][]

#### 访问是否成功：http://localhost:9200/\_cat/health ####

![20190918154438557.png][]

#### **[ ElasticSearch5.6.x文档： ][ElasticSearch5.6.x_]**[https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html][https_www.elastic.co_guide_en_elasticsearch_reference_5.6_index.html] ####

#### 1.查看集群状态: http://localhost:9200/\_cat/health?v ####

#### [https://www.elastic.co/guide/en/elasticsearch/reference/5.6/\_cluster\_health.html][ElasticSearch5.6.x_] ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 5][]

![20190918155249951.png][]

#### 2.查看索引列表: http://localhost:9200/\_cat/indices?v ####

#### [https://www.elastic.co/guide/en/elasticsearch/reference/5.6/\_cluster\_health.html][ElasticSearch5.6.x_] ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 6][]

![2019091815555095.png][]

#### 3.创建索引: http://localhost:9200/customer?pretty ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 8][]

#### 查看创建的索引 ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 9][]

#### 4.存放数据: http://localhost:9200/customer/external/1?pretty (PUT) ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 11][]

#### **5.存放数据: http://localhost:9200/customer/external/1?pretty**  (GET) ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 13][]

#### 如果没有ID=3的数据，显示如下： ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 14][]

#### 总之：Elasticsearch已经安装测试成功！ ####

## ES对外接口（开发人员关注） ##

### 1）JAVA API接口 ###

[http://www.ibm.com/developerworks/library/j-use-elasticsearch-java-apps/index.html][http_www.ibm.com_developerworks_library_j-use-elasticsearch-java-apps_index.html]

### 2）RESTful API接口 ###

常见的增、删、改、查操作实现：  
[http://blog.csdn.net/laoyang360/article/details/51931981][http_blog.csdn.net_laoyang360_article_details_51931981]

## ES遇到问题怎么办？ ##

1）国外：[https://discuss.elastic.co/][https_discuss.elastic.co]  
2）国内：[http://elasticsearch.cn/][http_elasticsearch.cn]

[https_www.jianshu.com_p_28fb017be7a7]: https://www.jianshu.com/p/28fb017be7a7
[https_www.elastic.co_cn_products_elasticsearch]: https://www.elastic.co/cn/products/elasticsearch
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/94350f09c7ea4986ad914932d376dd3f.png
[20160818205953345]: https://img-blog.csdn.net/20160818205953345
[20160818210034345]: https://img-blog.csdn.net/20160818210034345
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[http_www.oschina.net_news_2660]: http://www.oschina.net/news/2660
[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4b773bd8d8e1414785511a250c63ff9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/dea05d43a9df4ee091e06a9e6180164b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/77f5fc17d64047b2ac810ac505439c05.png
[20190918154337799.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/bb16356d975f475583ca89086144593b.png
[http_127.0.0.1_9200]: http://127.0.0.1:9200/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/b6c15b485a034c718a86f63cc31a8fd2.png
[20190918154438557.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/00f32f565a424a24a2fa5fdd5dd6506a.png
[ElasticSearch5.6.x_]: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/_cluster_health.html
[https_www.elastic.co_guide_en_elasticsearch_reference_5.6_index.html]: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/5915cbe48144458490eada2aa93d022d.png
[20190918155249951.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/869ba6db91a44465bc0cbf47b32a9eb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/d14093fcbf964298977bac11684e5105.png
[2019091815555095.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e4ed2e8960d443f8a951e90680ff6ce1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/224c729b0e554d489483579b2f6db829.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/8a4860d4dc6f4c0ea55c1ba40ac629fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/cc1d369db5244996b35aba7d3d82bdb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/fd9f21080d8f4e8ea3102809b79db750.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/df9d0aca5b54491c85d283cb29c873ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/3a1a8278c19a487fa665c08341564fd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/20d9d467f1404c8b94b4d11f57b8b923.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hseDIwMDgwODA4_size_16_color_FFFFFF_t_70 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/777f079f331242d8a01798b31f0b3c92.png
[http_www.ibm.com_developerworks_library_j-use-elasticsearch-java-apps_index.html]: http://www.ibm.com/developerworks/library/j-use-elasticsearch-java-apps/index.html
[http_blog.csdn.net_laoyang360_article_details_51931981]: http://blog.csdn.net/laoyang360/article/details/51931981
[https_discuss.elastic.co]: https://discuss.elastic.co/
[http_elasticsearch.cn]: http://elasticsearch.cn/