Elasticsearch安装使用与常见问题+Kibana

柔情只为你懂 2021-12-05 05:17 268阅读 0赞

#### 什么是Elasticsearch ？ ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70] ####

特点：

*  分布式，无需人工搭建集群（solr就需要人为配置，使用Zookeeper作为注册中心）
 *  Restful风格，一切API都遵循Rest原则，容易上手
 *  近实时搜索，数据更新在Elasticsearch中几乎是完全同步的。

**出于安全考虑，elasticsearch默认不允许以root账号运行。**  
所以需要新建一个用户

useradd elasticsearch
    passwd elasticsearch

再上传文件解压  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 1]  
config里面  
**jvm.options**文件可以配置内存占用

-Xms512m
    -Xmx512m

**elasticsearch.yml**文件  
可以配置修改数据和日志目录

path.data: /home/vivibro/elasticsearch/data # 数据目录位置
    path.logs: /home/vivibro/elasticsearch/logs # 日志目录位置

这两个目录一定要是该用户所有权

修改绑定的ip：

network.host: 0.0.0.0 # 绑定到0.0.0.0，允许任何ip来访问

添加插件ik分词器到插件目录下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 2]

## 启动及常见异常 ##

在bin目录下

./elasticsearch

常见启动问题  
![进程虚拟内存过低][2019071800062259.png]

### 1.文件权限不足 ###

修改如下文件：

**/etc/security/limits.conf**

加上

* soft nofile 65536
    
    * hard nofile 131072
    
    * soft nproc 4096
    
    * hard nproc 4096

### 2.进程虚拟内存过低 ###

下列文件 **/etc/sysctl.conf**  
添加 `vm.max_map_count=655360` 执行命令 `sysctl -p`

### 3.线程数不够 ###

报错内容：

[1]: max number of threads [1024] for user [leyou] is too low, increase to at least [4096]

找到文件 **/etc/security/limits.d/90-nproc.conf**  
修改

soft nproc 1024 改为 soft nproc 4096

如下表示启动完成  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 3]

访问9200端口出现如下响应表示成功了![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 4]  
9200端口采用http请求协议，9300采用tcp协议性能会稍微好一些

--------------------

# 用Kibana来连接 #

Kibana用于连接elasticsearch，帮助我们发请求，所以不一定安装在elasticsearch同一台服务器上。  
kibana版本需要与elasticsearch一致。  
安装完只有配置`kibana.yml`设置路径

默认本机5601端口启动kibana  
找到Dev tools  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 5]  
ik\_max\_word词典会分的比较细。另外还有一个ik\_smart，根据语义来进行分词

--------------------

Elasticsearch提供Rest风格的API，提供各种语言的客户端API  
![https://www.elastic.co/guide/en/elasticsearch/client/java-api/index.html][https_www.elastic.co_guide_en_elasticsearch_client_java-api_index.html]

--------------------

# elasticsearch操作索引 #

<table> 
 <thead> 
  <tr> 
   <th>概念</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>索引库（indices)</td> 
   <td>indices是index的复数，代表许多的索引</td> 
  </tr> 
  <tr> 
   <td>类型（type）</td> 
   <td>类型是模拟mysql中的table概念，一个索引库下可以有不同类型的索引，比如商品索引，订单索引，其数据格式不同。不过这会导致索引库混乱，因此未来版本中会移除这个概念</td> 
  </tr> 
  <tr> 
   <td>文档（document）</td> 
   <td>存入索引库原始的数据。比如每一条商品信息，就是一个文档</td> 
  </tr> 
  <tr> 
   <td>字段（field）</td> 
   <td>文档中的属性</td> 
  </tr> 
  <tr> 
   <td>映射配置（mappings）</td> 
   <td>字段的数据类型、属性、是否索引、是否存储等特性</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 6]

# 1.1创建索引 #

*  请求方式：PUT
 *  请求路径：/索引库名
 *  请求参数：json格式：
    
        { 
            "settings": { 
                "number_of_shards": 3,
                "number_of_replicas": 2
              }
        }
    
     *  settings：索引库的设置
        
         *  number\_of\_shards：分片数量
         *  number\_of\_replicas：副本数量

因为完全遵循RestFul风格，所以删除查询只是发起方式不同  
删除DELETE 查询GET

# 1.2创建映射字段 #

PUT /索引库名/_mapping/类型名称
    {
      "properties": {
        "字段名": {
          "type": "类型",
          "index": true，
          "store": true，
          "analyzer": "分词器"
        }
      }
    }

**eg：**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 7]  
查询同样用GET请求

### 1.2.1 常见字段属性解释 ###

#### 1.2.1.1 type ####

*  true：字段会被索引，则可以用来进行搜索。默认值就是true
 *  false：字段不会被索引，不能用来搜索

index的默认值就是true，也就是说你不进行任何配置，所有字段都会被索引。

但是有些字段是我们不希望被索引的，比如商品的图片信息，就需要手动设置index为false。

*  String类型，又分两种：
    
     *  text：可分词，不可参与聚合
     *  keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合
 *  Numerical：数值类型，分两类
    
     *  基本数据类型：long、interger、short、byte、double、float、half\_float
     *  浮点数的高精度类型：scaled\_float
        
         *  需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再还原。
 *  Date：日期类型
    
    elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。

如果存的是对象，比如：  
\{gril:\{name:“rose”,age21\}\}  
会处理成两个字段，gril.name和girl.age

#### 1.2.1.2 index ####

index影响字段的索引情况。

*  true：字段会被索引，则可以用来进行搜索。默认值就是true
 *  false：字段不会被索引，不能用来搜索

index的默认值就是true，也就是说你不进行任何配置，所有字段都会被索引。

但是有些字段是我们不希望被索引的，比如商品的图片信息，就需要手动设置index为false。

#### 1.2.1.3 store ####

默认值是false  
是否将数据进行额外存储。

在lucene和solr时，我们知道如果一个字段的store设置为false，那么在文档列表中就不会有这个字段的值，用户的搜索结果中不会显示出来。

但是在Elasticsearch中，即便store设置为false，也可以搜索到结果。

原因是Elasticsearch在创建文档索引时，会将文档中的原始数据备份，保存到一个叫做`_source`的属性中。而且我们可以通过过滤`_source`来选择哪些要显示，哪些不显示。

而如果设置store为true，就会在`_source`以外额外存储一份数据，多余，因此一般我们都会将store设置为false，事实上，**store的默认值就是false。**

#### 1.2.1.4 boost 权重 ####

没有设置 boost 的查询语句的值为 1 。

### 1.3 增删改查数据 ###

**随机生成id**  
post请求：

POST /索引库名/类型名
    {
        "key":"value"
    }

自定义id  
POST /索引库名/类型/id值

新增的数据如果含有未在\_mapping中定义的字段，可以新增成功到索引中并修改\_mapping。只能推断数据类型。字符串类型会被处理成两个字段 name.type:text以及 name.fields.keyword:keyword  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 8]

PUT请求可以新增也可以修改，如果id不存在则新增  
GET可以根据某个id来查询。

## 2 查询 ##

**查询模板**

GET /索引库名字/_search
    {
    	"query":{
    	xxx
    	}
    }

query中的常见查询类型：

*  match 全文检索
 *  bool 布尔查询
 *  fuzzy 模糊查询
 *  prefix 前缀查询
 *  range 范围查询
 *  multi\_match 多字段查询
 *  term 词条匹配 用于精准值匹配，通常是数字、时间、布尔或者未分词字符串

GET /heima/_search
    {
        "query":{
            "match": {
            	“title”:"大米手机”
            }
        }
    }

存与查都要进行分词  
默认是or关系  
举个例子  
“大米手机”分词会拆成 “大米”“手机”，这样去检索全文 大米相关的也出来了  
如果要用and关系应该写成

···
    #以上省略
    match:{
    	"title":{"query":"大米手机",operator:"and"
    }

multi\_match 多字段

"query":{
            "multi_match": {
                "query":    "小米",
                "fields":   [ "title", "subTitle" ]
            }

term 词条匹配

GET /heima/_search
    {
        "query":{
            "term":{
                "price":2699.00
            }
        }
    }

如果查多个用terms加数组来存放  
模糊查询

"query":{
            "fuzzy":{
                "title":"appla"
            }
        }

范围查询  
range 属于过滤条件 不影响得分 不放在bool里面，应该写在filter里面

"query":{
            "range":{
                "price":{
                 "gte":"300"
                 "lte":2000
                }
            }
        }

布尔查询  
bool  
把各种其它查询通过`must`（与）、`must_not`（非）、`should`（或）的方式进行组合

"query":{
            "bool":{
            	"must":     { "match": { "title": "大米" }},
            	"must_not": { "match": { "title":  "电视" }},
            	"should":   { "match": { "title": "手机" }}
            }
        }

**排序：**  
在query同级写

"sort":[
    	{
    		"price":{
    			"order":"desc"
    		}
    	}
    ]

**分页：**  
from从几开始、size显示几个

### 2.1查询结果过滤 ###

默认会将命中的索引全部取出

GET /xxx/_search
    {
      xxx
      "_source": ["title","price"],
      xxx
        }
      }
    }

查询时候加入\_source的数组，返回结果数据将变小

"_source": {
         "excludes": ["images"]

如果给个对象可以有includes和excludes两种玩法。

--------------------

## **聚合查询（Aggregation）** ##

**桶（bucket）：**

*  Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
 *  Histogram Aggregation：根据数值阶梯分组，与日期类似
 *  Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
 *  Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组
 *  ……

**桶（bucket）：**

*  Avg Aggregation：求平均值
 *  Max Aggregation：求最大值
 *  Min Aggregation：求最小值
 *  Percentiles Aggregation：求百分比
 *  Stats Aggregation：同时返回avg、max、min、sum、count等
 *  Sum Aggregation：求和
 *  Top hits Aggregation：求前几
 *  Value Count Aggregation：求总数
 *  ……

聚合查询：

GET /cars/_search
    {
        "size" : 0,
        "aggs" : { 
            "popular_colors" : { 
                "terms" : { 
                  "field" : "color"
                }
            }
        }
    }

嵌套：

GET /cars/_search
    {
        "size" : 0,
        "aggs" : { 
            "popular_colors" : { 
                "terms" : { 
                  "field" : "color"
                },
                "aggs":{
                    "avg_price": { 
                       "avg": {
                          "field": "price" 
                       }
                    }
                }
            }
        }
    }

查询结果模板  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 9]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70]: /images/20211205/45304d4a4c5a427587a356b6dbe8c31e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 1]: /images/20211205/37b3ce79379e4282b2f606d1aaf1b6f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 2]: /images/20211205/f6e73ad201ad43fe9b0d6345b72d228a.png
[2019071800062259.png]: /images/20211205/95e156bff1784f9b9e3367048fd6f020.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 3]: /images/20211205/3a96683441884399882f0a7940144d0c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 4]: /images/20211205/4556af30b7d349f0a7f91607e38eb0dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 5]: /images/20211205/1b036b6dd9b24c3984b54bccd1c0351d.png
[https_www.elastic.co_guide_en_elasticsearch_client_java-api_index.html]: /images/20211205/e1a9ccf5cc0e4187a0e1b48d7fddf577.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 6]: /images/20211205/bfd9fa82860c43f986dddd281d11aa60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 7]: /images/20211205/577817308c7b478d995f4738a92d1e06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 8]: /images/20211205/b533888e60594d5698f253fd93d8808d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Zpdmlicm8_size_16_color_FFFFFF_t_70 9]: /images/20211205/0d0a4d3b6b834a65809486d66de3b5ab.png