ElasticSearch - 基于 docker 部署 es、kibana，配置中文分词器、扩展词词典、停用词词典

小咪咪 2024-03-02 10:30 54阅读 0赞

**目录**

一、ElasticSearch 部署

1.1、创建网络

1.2、加载镜像

1.3、运行

1.4、检查是否部署成功

二、部署 Kibana

2.1、加载镜像

2.2、运行

三、部署 IK 分词器

3.1、查看数据卷目录

3.2、上传分词器

3.3、重启容器

3.4、测试

3.4、扩展词词典

3.5、停用词词典

--------------------

## 一、ElasticSearch 部署 ##

--------------------

### 1.1、创建网络 ###

这里为了 es 和 将来要下载的 kibana 进行互联，因此需要我们去创建一个网络.

> Ps：这里也可以使用 docker-compose 一键互联，但是考虑到未来可能不会使用 kibana（可替代组件，前面的章节讲过），只需要 es，所以这里我们还是单独部署.

docker network create es-net

![1e19467042684855bb46fd24bb6e27c7.png][]

### 1.2、加载镜像 ###

这里我们使用 es 的 7.12.1 版本的镜像，体积比较大，接近 1G，大家可以自己去 pull 下来，也可以去找一些现有的资源（因为太大了，我上传不了，bibana 也是如此）.

上传完成以后，去加载镜像即可.

docker load -i es.tar

![0ebbbbd4f8a54570b19b62e59f5ca0ee.png][]

### 1.3、运行 ###

部署单点 es 命令如下.

docker run -d \
    	--name es \
        -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
        -e "discovery.type=single-node" \
        -v es-data:/usr/share/elasticsearch/data \
        -v es-plugins:/usr/share/elasticsearch/plugins \
        --privileged \
        --network es-net \
        -p 9200:9200 \
        -p 9300:9300 \
    elasticsearch:7.12.1

*  \-e 表示配置环境变量，这里环境变量有两个.
 *  \-e "ES\_JAVA\_OPTS=-Xms512m -Xmx512m"\`：内存大小（es 底层是 Java 实现的，所以这里是配置 jvm 的堆内存大小），值得注意的是，这里 512 已经是能配置的最小内存了，不能更小，否则回出现内存不足的情况.
 *  \-e "discovery.type=single-node"\`：非集群模式（single node 就是单个节点的意思）
 *  \-v es-data:/usr/share/elasticsearch/data\`：挂载数据卷，绑定es的数据目录
 *  \-v es-plugins:/usr/share/elasticsearch/plugins\`：挂载数据卷，绑定es的插件目录（将来作拓展，就要在这里存东西）
 *  \--privileged\`：授予数据卷访问权
 *  \--network es-net\` ：加入一个名为es-net的网络中
 *  \-p 9200:9200： 这里是 http 协议端口，供我们访问.
 *  \-p 9300:9300：这里是 es 容器各个节点之间的互联端口.（这个端口现在用不到，不暴露也没关系，只是后面部署集群的时候，还得打开）.

如果要设置集群，可以如下配置：

*  \-e "cluster.name=es-docker-cluster"\`：设置集群名称

运行镜像

![3974e9ccb12c439aa12a5cc1cd2a6311.png][]

### 1.4、检查是否部署成功 ###

可以先通过 docker ps 命令，看一下是不是启动成功了.

![3e9e450672c346fdaca1a8e13b1641c0.png][]

接下来，打开浏览器，输入 http://你的云服务ip:9200 即可（这里我就不暴露 ip了，孩子吃了不少教训，害怕黑客攻击了...）

> Ps：这里别忘了开 9200 端口的防火墙.

如果看到如下界面，就说明 ElasticSearch 部署完成~

![4a844a6ee819483b9ecd563794d8ccdf.png][]

## 二、部署 Kibana ##

--------------------

这里为什么还要安装 kibana 呢？因为 kibana 中提供了一个 dev tools 工具，可以让我们非常方便的编写 es 中 DSL 语句.

### 2.1、加载镜像 ###

这里的镜像同样不建议大家去 pull，可以去网上找找其他的资源，但是值得注意的是，kibana 的版本要和 es 匹配才行.

docker load -i kibana.tar

![8ab3e304d85a42288c36ed1b22cee676.png][]

### 2.2、运行 ###

运行以下命令，运行镜像

docker run -d \
    --name kibana \
    -e ELASTICSEARCH_HOSTS=http://es:9200 \
    --network=es-net \
    -p 5601:5601  \
    kibana:7.12.1

*  \--network es-net\` ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中.
 *  \-e ELASTICSEARCH\_HOSTS=http://es:9200"\`：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch.
 *  \-p 5601:5601\`：端口映射配置.

![109e54f2b901491a80ddf821c76a8355.png][]

Kibana 启动一般比较慢，需要多等待一会，可以通过 docker logs -f kibana 命令来查看他的运行日志信息.

最后，在浏览器中输入地址：http://你的云服务器 ip:5601 既可看到结果.

![bd2a584674aa4741895cecea832bb722.png][]

![e3476eaa556d4cb6a2d5d41b4ee31753.png][]

这里专门提供了一个工具，用来编写 DSL 代码，来操作 es，并且还有 DSl 语句自动补全功能.

![e0d9d4da60e64a9392debf4c9c2a4ab1.png][]

![45584039ae154b04b84c4cc945535079.png][]

## 三、部署 IK 分词器 ##

--------------------

前面章节我们讲到，建立倒排索引需要对用户输入的内容进行分词处理（比如用户输入“华为手机”，会分成 “华为”和“手机”），但是由于 es 默认的分词器是不支持中文分词的，因此这里需要我们去安装 IK 分词器.

### 3.1、查看数据卷目录 ###

安装插件需要知道 es 的 plugins 的目录位置，而我们使用了数据卷挂载，因此只需要查看 es 的数据卷目录，通过以下命令即可查看 :

docker volume inspect es-plugins

![6fa6d9cd3ab1409b9e6f71686128b767.png][]

### 3.2、上传分词器 ###

这里我们可以在网上找 ik 分词器的压缩包，下载下来解压，命名为 ik.

![529f2144edfb4aa694a27d490abf661a.png][]

然后上传到 es 容器的插件数据卷中.

如果直接上传文件夹失败，那么还是压缩成 zip 文件，上传，然后通过 unzip 进行解压.

![4feebd9fa55c4716becca63dadd8d055.png][]

### 3.3、重启容器 ###

使用以下命令重启容器

docker restart es

![705d7062171c499896e751edcda50433.png][]

### 3.4、测试 ###

IK 分词器，包含两种模式：

*  ik\_smart：最少切分，例如 “世界上” 这个内容，首先就是看这个整体是否是一个词，如果是就将他作为一个词条，然后这个词就拆分完成了；如果不是一个词，才继续拆分.
 *  ik\_max\_word：最细切分，例如 “世界上” 这个内容，首先就看这个整体是否是一个词，如果是就将他作为一个词条，然后在看是否能继续切分，如果可以就继续切分，找到新词条.

以下我们可以看一下使用 ik\_smart 对 "java是世界上最好的语言进行分词".

![279dfecca662490294e2d170f633b5a7.png][]

ik\_max\_word 分词输入：

GET /_analyze
    {
      "analyzer": "ik_max_word",
      "text": "java是世界上最好的语言"
    }

输出如下：

{
      "tokens" : [
        {
          "token" : "java",
          "start_offset" : 0,
          "end_offset" : 4,
          "type" : "ENGLISH",
          "position" : 0
        },
        {
          "token" : "是",
          "start_offset" : 4,
          "end_offset" : 5,
          "type" : "CN_CHAR",
          "position" : 1
        },
        {
          "token" : "世界上",
          "start_offset" : 5,
          "end_offset" : 8,
          "type" : "CN_WORD",
          "position" : 2
        },
        {
          "token" : "世界",
          "start_offset" : 5,
          "end_offset" : 7,
          "type" : "CN_WORD",
          "position" : 3
        },
        {
          "token" : "上",
          "start_offset" : 7,
          "end_offset" : 8,
          "type" : "CN_CHAR",
          "position" : 4
        },
        {
          "token" : "最好",
          "start_offset" : 8,
          "end_offset" : 10,
          "type" : "CN_WORD",
          "position" : 5
        },
        {
          "token" : "的",
          "start_offset" : 10,
          "end_offset" : 11,
          "type" : "CN_CHAR",
          "position" : 6
        },
        {
          "token" : "语言",
          "start_offset" : 11,
          "end_offset" : 13,
          "type" : "CN_WORD",
          "position" : 7
        }
      ]
    }

ik\_smart 分词输入：

GET /_analyze
    {
      "analyzer": "ik_smart",
      "text": "java是世界上最好的语言"
    }

输出：

{
      "tokens" : [
        {
          "token" : "java",
          "start_offset" : 0,
          "end_offset" : 4,
          "type" : "ENGLISH",
          "position" : 0
        },
        {
          "token" : "是",
          "start_offset" : 4,
          "end_offset" : 5,
          "type" : "CN_CHAR",
          "position" : 1
        },
        {
          "token" : "世界上",
          "start_offset" : 5,
          "end_offset" : 8,
          "type" : "CN_WORD",
          "position" : 2
        },
        {
          "token" : "最好",
          "start_offset" : 8,
          "end_offset" : 10,
          "type" : "CN_WORD",
          "position" : 3
        },
        {
          "token" : "的",
          "start_offset" : 10,
          "end_offset" : 11,
          "type" : "CN_CHAR",
          "position" : 4
        },
        {
          "token" : "语言",
          "start_offset" : 11,
          "end_offset" : 13,
          "type" : "CN_WORD",
          "position" : 5
        }
      ]
    }

### 3.4、扩展词词典 ###

随着互联网的不断发展，也出现了很多新的词语，在原有的词汇列表中不存在，比如：“鸡你太美”，“奥里给”.......

所以我们的词汇也需要不断更新，IK分词器也提供了扩展词汇的功能.

a）在 es 的插件数据卷目录下，进入 ik 文件夹，接着进入 config 目录.

![0240f27c6dfd415fb98de139406971a4.png][]

找到如下文件

![4fca8d35378144ea9c7846c00dae1d9c.png][]

b）通过 vim 打开 IKAnalyzer.vfg.xml 配置文件，添加以下内容：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
    
            
            <entry key="ext_dict">ext.dic</entry>
    </properties>

![a4e402000eff4191ba2fb57adececad7.png][]

c）新建一个 ext.dic，添加需要的词汇.

![7f65cff2b33242a3957d03b56eba52a6.png][]

> Ps：当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

d）重启 es

docker restart es

e）测试效果

ik\_max\_word 分词输入：

GET /_analyze
    {
      "analyzer": "ik_max_word",
      "text": "听过鸡你太美和奥里给吗？"
    }

输出：

{
      "tokens" : [
        {
          "token" : "听过",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 0
        },
        {
          "token" : "鸡你太美",
          "start_offset" : 2,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 1
        },
        {
          "token" : "太美",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 2
        },
        {
          "token" : "和",
          "start_offset" : 6,
          "end_offset" : 7,
          "type" : "CN_CHAR",
          "position" : 3
        },
        {
          "token" : "奥里给",
          "start_offset" : 7,
          "end_offset" : 10,
          "type" : "CN_WORD",
          "position" : 4
        },
        {
          "token" : "吗",
          "start_offset" : 10,
          "end_offset" : 11,
          "type" : "CN_CHAR",
          "position" : 5
        }
      ]
    }

### 3.5、停用词词典 ###

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

a）IKAnalyzer.cfg.xml配置文件内容添加

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">ext.dic</entry>
             
            <entry key="ext_stopwords">stopword.dic</entry>
    </properties>

![e41d140b8a344c46b97689d56579aca4.png][]

b）在 stopword.dic 中添加停用词.

可以看到这里，原本已经有一些停用的词（一些介词...没必要创建索引）

![85a4d355db04470ca6f0bdffa6715378.png][]

这里我们添加 “小黑子”，如下

![1192f087683a4ea5b222da3f1b633846.png][]

c）重启 es

docker restart es

d）测试

可以看出，并没有分出 小黑子 这个词条

![c77a3d37661246aba8f5d7bf7c61f7f9.png][]

![0073bb0fea9047bcad4d2dbbd04ccb29.gif][]

[1e19467042684855bb46fd24bb6e27c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/46b64c2ba5724feda809525fa086d5dc.png
[0ebbbbd4f8a54570b19b62e59f5ca0ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/872af3b61faa45efa3066a6dbc45b31f.png
[3974e9ccb12c439aa12a5cc1cd2a6311.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/d0fafca070df425eba1950520904ff47.png
[3e9e450672c346fdaca1a8e13b1641c0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/f9597835dc514d92bb0c50de2fb9d183.png
[4a844a6ee819483b9ecd563794d8ccdf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/853f14cbd8b740b18b613ec6abe0a45e.png
[8ab3e304d85a42288c36ed1b22cee676.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c64ed196351240d7bd5215ca30ae6380.png
[109e54f2b901491a80ddf821c76a8355.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/6072c9f8678243fc9243ac878f1a4487.png
[bd2a584674aa4741895cecea832bb722.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/09758f69b9c64a64acd534a465e72d8f.png
[e3476eaa556d4cb6a2d5d41b4ee31753.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/d4bffe1c394941c38929bf56d96c004b.png
[e0d9d4da60e64a9392debf4c9c2a4ab1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/35d15a8839e04e29bdeedf772a4b2465.png
[45584039ae154b04b84c4cc945535079.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/3cfa0d0712db4003baed9b0dec615377.png
[6fa6d9cd3ab1409b9e6f71686128b767.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/701a1859df1a4ca78035330f6ad3181b.png
[529f2144edfb4aa694a27d490abf661a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/0cf26e05bded4e38a9b2a9d3b2e2c085.png
[4feebd9fa55c4716becca63dadd8d055.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/f8575944eacd44f785a3cab69486ba72.png
[705d7062171c499896e751edcda50433.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/98e19c248b4c4bac9f046486046c2fa6.png
[279dfecca662490294e2d170f633b5a7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c14cecc67abc4c42ba7ea2808e1433c2.png
[0240f27c6dfd415fb98de139406971a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/5bceed7f44e74b0782cf234782a3ff4d.png
[4fca8d35378144ea9c7846c00dae1d9c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/d1f8c8c10857424d822c7ab2205c23cc.png
[a4e402000eff4191ba2fb57adececad7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/e36e6aeb989044a89fde0c79d11ddada.png
[7f65cff2b33242a3957d03b56eba52a6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/9ef20a276ca94106b4c4174694cd0665.png
[e41d140b8a344c46b97689d56579aca4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/e1312840d03145899e1bd240d9900663.png
[85a4d355db04470ca6f0bdffa6715378.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/3b27cdc3dd8f42bbae6328a11d6508ad.png
[1192f087683a4ea5b222da3f1b633846.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b2aeba9eb1b440529ce4584fe2b91fa0.png
[c77a3d37661246aba8f5d7bf7c61f7f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/1ee715eb6e2a453aa794de57eb6dba18.png
[0073bb0fea9047bcad4d2dbbd04ccb29.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/0138644df4fe42cb98730a8fa473f492.png