ElasticSearch入门之ES配置IK分词器, IK分词器热词更新 12

雨点打透心脏的1/2处 2021-10-14 04:26 1395阅读 0赞

# 1. 先安装IK分词器 #

每台机器都要配置。配置完成之后，需要重启ES服务

wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.2/elasticsearch-analysis-ik-6.0.0.zip
        # 将ik分词器的插件，上传到/export/servers/es
        # cd /export/servers/es 
        # rz
        unzip elasticsearch-analysis-ik-6.0.0.zip -d elasticsearch-6.0.0/plugins/
        cd elasticsearch-6.0.0/plugins/
        mv elasticsearch analysis-ik
        # 三台机器都配置完成
        # 配置完成之后，需要重启服务。
        # 配置完成之后，需要重启服务。
        # 配置完成之后，需要重启服务。
        # 配置完成之后，需要重启服务。
        # 配置完成之后，需要重启服务。

# 2. 配置IK分词器 #

# 配置IK分词器
      	 PUT /iktest?pretty
        { 
            "settings" : { 
                "analysis" : { 
                    "analyzer" : { 
                        "ik" : { 
                            "tokenizer" : "ik_max_word"
                        }
                    }
                }
            },
            "mappings" : { 
                "article" : { 
                    "dynamic" : true,
                    "properties" : { 
                        "subject" : { 
                            "type" : "text",
                            "analyzer" : "ik_max_word"
                        }
                    }
                }
            }
        }

说明：ik带有两个分词器:

*  ik\_max\_word ：会将文本做最细粒度的拆分；尽可能多的拆分出词语  
    句子：我爱我的祖国  
    结果： 我|爱|我|的|祖|国|祖国
 *  ik\_smart：会做最粗粒度的拆分；已被分出的词语将不会再次被其它词语占有  
    句子：我爱我的祖国  
    结果： 我|爱|我|的|祖国

# 3. 查看分词效果 #

## 3.1 ik\_max\_word ##

GET _analyze?pretty
          { 
            "analyzer": "ik_max_word",
            "text": "二十四口交换机"
          }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]

## 3.2 ik\_smart ##

GET _analyze?pretty
          { 
            "analyzer": "ik_smart",
            "text": "二十四口交换机"
          }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]

## 7.4 插入测试数据 ##

POST /iktest/article/_bulk?pretty
        {  "index" : {  "_id" : "1" } }
        { "subject" : "＂闺蜜＂崔顺实被韩检方传唤 韩总统府促彻查真相" }
        {  "index" : {  "_id" : "2" } }
        { "subject" : "韩举行＂护国训练＂ 青瓦台:决不许国家安全出问题" }
        {  "index" : {  "_id" : "3" } }
        { "subject" : "媒体称FBI已经取得搜查令 检视希拉里电邮" }
        {  "index" : {  "_id" : "4" } }
        { "subject" : "村上春树获安徒生奖 演讲中谈及欧洲排外问题" }
        {  "index" : {  "_id" : "5" } }
        { "subject" : "希拉里团队炮轰FBI 参院民主党领袖批其”违法”" }

对"希拉里和韩国"进行分词查询  
ik\_max\_word分词后的效果：希|拉|里|希拉里|和|韩国

POST /iktest/article/_search?pretty
        { 
            "query" : {  "match" : {  "subject" : "希拉里和韩国" }},
            "highlight" : { 
                "pre_tags" : ["<font color=red>"],
                "post_tags" : ["</font>"],
                "fields" : { 
                    "subject" : { }
                }
            }
        }

# 5 热词更新 #

## 5.1 配置Tomcat ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]

#下载tomcat
        wget http://124.205.69.169/files/60480000070D3D35/mirrors.hust.edu.cn/apache/tomcat/tomcat-8/v8.5.34/bin/apache-tomcat-8.5.34.tar.gz
        # 解压目录
        mv apache-tomcat-8.5.34 /export/servers/tomcat4es/
        cd /export/servers/tomcat4es/webapps/ROOT/
        # 新建文件
        vi hot.dic 
        --
        啊策策名字叫国策
        --
        # 启动tomcat
        /export/servers/tomcat4es/bin/startup.sh 
        # 检查是否可以访问 wget http://node03:8080/hot.dic

## 5.2 修改IK分词器的配置文件 ##

cd /export/servers/es/elasticsearch-6.0.0/plugins/analysis-ik/config
        vi IKAnalyzer.cfg.xml 
        ---
        <entry key="remote_ext_dict">http://192.168.140.133:8080/hot.dic</entry>

7.5.3 修改JDK权限

#修改JDK安全设置
        vi /export/servers/jdk/jre/lib/security/java.policy 
        permission java.net.SocketPermission "192.168.140.138:8080","accept";
        permission java.net.SocketPermission "192.168.140.138:8080","listen";
        permission java.net.SocketPermission "192.168.140.138:8080","resolve";
        permission java.net.SocketPermission "192.168.140.138:8080","connect";

## 5.4 前台启动ES并观察 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20211013/5ba69bf67c8f4339a0f88cd8203f5e6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]: /images/20211013/2b41b99fe4e4407a8b4c5b90c214c063.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]: /images/20211013/62f750d0d32b49feb91a71726ec4377c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]: /images/20211013/e17b8c72af604111bae5b64ffe85f285.png