ElasticSearch的基本使用

刺骨的言语ヽ痛彻心扉 2022-11-14 00:46 188阅读 0赞

### ElasticSearch概念 ###

面向文档的快速存储，快速检索数据的分布式全文搜索引擎，数据存在内存中。

*  **索引**：为相似特性的文档建一个索引，比如商品索引，订单索引等，方便检索
 *  **映射**：定义文档中的字段的索引方式的
 *  **文档**：一条数据，比如一条商品数据
 *  **集群**：分成多个节点，每个节点都是一个集群
 *  **节点**
 *  **分片**：索引中的数据会以分片的形式分到不同的节点上
 *  **副本**：高可用保证没个节点的数据不丢失，提供搜索功能的性能

> 应用场景：电商搜索商品，日志收集分析(ELK), 商品价格的监控
> 
> ELK日志分析系统可以实时监测日志，并实时报警

--------------------

### ElasticSearch核心 ###

#### **倒排索引**: ####

先看正排索引，就是根据关键字去找返回的值，就是用key找value，每个文档都会有一个文档id,倒排索引就是将文档中的内容先遍历出来进行分词操作后放入索引库中，用户输入关键词从索引库查找所有包含文档的id，再用id找到包含关键词的文档，并根据权重先后展示。

--------------------

### ElasticSearch安装 ###

#### **Docker上安装ElasticSearch** ####

*  拉取镜像
    
        docker pull elasticsearch:7.4.2
 *  建立挂载文件的目录并写入文件
    
        mkdir -p /mydata/elasticsearch/config 
        mkdir -p /mydata/elasticsearch/data
        echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml
 *  设置文件目录权限
    
        chmod -R 777 /mydata/elasticsearch/
 *  创建ElasticSearch容器,并设置外部文件挂载
    
        docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
        -e "discovery.type=single-node" \
        -e ES_JAVA_OPTS="-Xms64m -Xmx128m" \
        -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
        -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
        -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
        -d elasticsearch:7.4.2 
        
        解释 
        --name elasticsearch ：就是为容器起了个名字，叫elasticsearch
        -p 9200:9200 : 发送http 请求的时候用的是9200 端口
        -p 9300:9300 : es在集群模式下，各节点间通信的端口
        -e "discovery.type=single-node"  表示以单节点模式运行
        -e ES_JAVA_OPTS="-Xms64m -Xmx128m" 设置运行内存大小，如果不设置， elasticsearch 起来后就会占用全部内存，导致机器卡死
        -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 表示设置挂载，即将前面这个elasticsearch.yml 和后面这个elasticsearch.yml 进行一一关联，当修改前面这个文件的时候，后面这个也就修改了
        -d elasticsearch:7.4.2 表示用的是 elasticsearch:7.4.2 这个版本的镜像

为了更好的查看操作数据，下载`kibana`可视化搜索引擎,版本需保持一致

*  拉取镜像
    
        docker pull kibana:7.4.2
 *  创建容器192.168.140.128写访问你的虚拟机的地址
    
        docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.140.128:9200 -p 5601:5601 -d kibana:7.4.2
 *  开机自启
    
        docker update cid --restart=always  开机自动启动
 *  访问 http://192.168.140.128:9200/
 *  访问http://192.168.140.128:5601进入kibana操作台

--------------------

#### **ik分词器** ####

给ElasticSearch安装ik分词器的插件，这里不说了,直接将插件解压到`plugins`文件夹下

强大的中文分词器，两种算法

*  **ik\_smart**: 最少切分
    
        GET _analyze
        { 
          "analyzer": "ik_smart",
          "text": "我是中国人"
        }
        拆分的数据：
        { 
          "tokens" : [
            { 
              "token" : "我",
              "start_offset" : 0,
              "end_offset" : 1,
              "type" : "CN_CHAR",
              "position" : 0
            },
            { 
              "token" : "是",
              "start_offset" : 1,
              "end_offset" : 2,
              "type" : "CN_CHAR",
              "position" : 1
            },
            { 
              "token" : "中国人",
              "start_offset" : 2,
              "end_offset" : 5,
              "type" : "CN_WORD",
              "position" : 2
            }
          ]
        }
 *  **ik\_max\_word**: 最细粒度划分
    
        GET _analyze
        {
          "analyzer": "ik_max_word",
          "text": "我是中国人"
        }
        最细粒度划分后的数据
        {
          "tokens" : [
            {
              "token" : "我",
              "start_offset" : 0,
              "end_offset" : 1,
              "type" : "CN_CHAR",
              "position" : 0
            },
            {
              "token" : "是",
              "start_offset" : 1,
              "end_offset" : 2,
              "type" : "CN_CHAR",
              "position" : 1
            },
            {
              "token" : "中国人",
              "start_offset" : 2,
              "end_offset" : 5,
              "type" : "CN_WORD",
              "position" : 2
            },
            {
              "token" : "中国",
              "start_offset" : 2,
              "end_offset" : 4,
              "type" : "CN_WORD",
              "position" : 3
            },
            {
              "token" : "国人",
              "start_offset" : 3,
              "end_offset" : 5,
              "type" : "CN_WORD",
              "position" : 4
            }
          ]
        }

可以在ik分词器下中的配置文件`IKAnalyzer.cfg.xml`自己配置自己的分词器，不多说了。

--------------------

### ElasticSearch基本使用 ###

它的所有请求都是基于RestFul风格的。

--------------------

#### **SpringBoot集成ElasticSearch** ####

*  导入依赖：版本需对应
    
        
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.4.2</version>
        </dependency>
 *  配置类
    
        @Configuration
        public class MyElasticSerchConfig { 
            @Bean
            public RestHighLevelClient restHighLevelClient(){ 
                RestHighLevelClient client = new RestHighLevelClient(
                        RestClient.builder(
                                new HttpHost("127.0.0.1", 9200, "http")));
                return client;
            }
        }
 *  测试类创建索引
    
        @Test
        void contextLoads() throws IOException { 
            CreateIndexRequest request = new CreateIndexRequest("jektong");
            CreateIndexResponse response = restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);
            System.out.println(response.index());
        }
 *  测试添加文档
    
        @Test
        void contextLoads3() throws IOException { 
            // 测试文档
            User user = new User("zs",22);
            // 创建请求
            IndexRequest request = new IndexRequest("jektong");
            request.id("1");
            request.timeout(TimeValue.timeValueSeconds(1));
            request.timeout("1s");
            // 放入请求
            request.source(JSON.toJSONString(user), XContentType.JSON);
            // 发送请求
            IndexResponse indexResponse = restHighLevelClient.index(request, RequestOptions.DEFAULT);
            System.out.println(indexResponse.getIndex());
            System.out.println(indexResponse.status());
        }

**\_cat**

*  GET \_cat/nodes 查看节点信息
 *  GET \_cat/health 查看健康状况
 *  GET \_cat/master 查看主节点
 *  GET \_cat/indices 查看所有索引

--------------------

#### **ElasticSearch进行数据迁移** ####

*  创建索引的时指定映射关系
 *  使用`POST _reindex`进行数据迁移
    
    source原来的索引设置,dest迁移的索引设置
    
        POST _reindex
        { 
          "source": { 
            "index": "bank",
            "type": "account"
          },
          "dest": { 
            "index": "newbank"
          }
        }