ES学习-logstash中配置分词器

短命女 2021-12-04 09:47 670阅读 0赞

**一、 前奏**  
这段时间在完善kibana中实现预警机制，通过Sentinl实现。关于sentinl的使用就不做介绍了，这个插件功能还是很强大的，可以实现邮件预警及通过webhook接口的方式实现微信预警。sentinl中对预警数据的筛选是通过ES的DSL查询语句实现的。  
**二、问题场景**  
现在有这么个场景对zk的服务数进行预警，我们建了一个服务实施的通过zk注册中心正常的服务数，然后通过filebeat收集相关服务数日志，如果服务异常我们通过sentinl对日志进行筛查后实现预警。  
相关的预警脚本如下：

{ 
            "query": { 
              "bool": { 
                "must": [
                  { 
                    "term": { 
                      "tags": "nlp-log-monitor"
                    }
                  },
                  { 
                    "range": { 
                      "zootemAbnMsg": {  "gte" : 1 }
                    }
                  },
                  { 
                    "range": { 
                      "@timestamp": { 
                        "gte": "now-30s",
                        "lte": "now",
                        "format": "epoch_millis"
                      }
                    }
                  }
                ]
              }
            }
          }

这段脚本的主要含义是查询当前时间30s内，服务nlp-log-monitor中异常服务数“zootemAbnMsg”大于1的日志，如果扫描到了，则通过sentinl预警。

> term 主要用于精确匹配哪些值，比如数字，日期，布尔值或 not\_analyzed 的字符串(未经分析的文本数据类型)

最终的提示脚本：

dubbo服务数预警|{
       {payload.hits.total}}|ERROR dubbo服务数异常,宕机应用数:{
       {payload.hits.hits.0._source.zootemAbnMsg}},宕机应用：{
       {payload.hits.hits.0._source.zootemAbnMsgParam}}

但是上面的脚本是无法查询到数据的，“term”是需要not\_analyzed ，ES里默认的分词器为standard。  
我们通过命令分析下“nlp-log-monitor”是否被分词了。

POST http://10.XXX.XX.XXX:8200/logstash-2019.07.12/_analyze
    { "text":"nlp-log-monitor"}

返回结果如下：

{ 
        "tokens": [
            { 
                "token": "nlp",
                "start_offset": 0,
                "end_offset": 3,
                "type": "<ALPHANUM>",
                "position": 0
            },
            { 
                "token": "log",
                "start_offset": 4,
                "end_offset": 7,
                "type": "<ALPHANUM>",
                "position": 1
            },
            { 
                "token": "monitor",
                "start_offset": 8,
                "end_offset": 15,
                "type": "<ALPHANUM>",
                "position": 2
            }
        ]
    }

我们发下“nlp-log-monitor”被分词了，想要改变这个我们就需要引用其他的分词器。这里推荐使用ik分词器。关于ik分词器的安装网上有很多资料，主要需要注意安装的版本需要和es版本一致。分词器安装完成后，网上有很多方式说可以在es的config/elasticsearch.yml文件中配置，6.x版本后就不需要指定了。这里需要注意下。  
**三、logstash配置分词器**  
分词器的配置方式有很多种，比如在es中初始化时配置，由于我们使用的是logstash自动生成es索引的方式这里我们采用在logstash配置分词模板的方式：  
1.在logstash的安装目录config下建立分词模板yrz-logstash.json

{ 
    	"index_patterns": ["yrz-logstash-*"],
    	"settings": { 
    		"number_of_shards": 3
    	},
    	"mappings": { 
    		"doc": { 
    			"dynamic_templates": [{ 
    				"es": { 
    					"match": "message",
    					"match_mapping_type": "string",
    					"mapping": { 
    						"type": "text",
    						"analyzer": "ik_smart"
    					}
    				}
    			},
    			{ 
    				"en": { 
    					"match": "tags",
    					"match_mapping_type": "string",
    					"mapping": { 
    						"type": "keyword",
    						"analyzer": "ik_smart"
    					}
    				}
    			},
    			{ 
    				"ea": { 
    					"match": "*",
    					"match_mapping_type": "string",
    					"mapping": { 
    						"norms": false,
    						"type": "text",
    						"fields": { 
    							"keyword": { 
    								"type": "keyword",
    								"ignore_above": 256
    							}
    						}
    					}
    				}
    			}]
    		}
    	},
        "aliases": { }
    }

模板中参数的具体含义网上都可以找到， “match”: “tags”,这里就是我们指定了tags的分词方式为“ik\_smart”。

> es中初始导入可以通过命令PUT http://10.xxx.xx.xxx:8200/\_template/yrz-logstash导入。

logstash启动conf文件中新增如下配置：

output { 
    	if [type] == "filebeat"{ 
    		elasticsearch { 
    			hosts => ["10.xxx.xx.xxx:8200"]
    			index => "yrz-logstash-%{+YYYY.MM.dd}"  
    			action => "index"
    			template=>"/usr/local/nlp/logstash-6.0.1/config/yrz-logstash.json"
    			template_name=>"yrz-logstash"
    			#manage_template => true
    			template_overwrite => true
    			user => "elastic"
    			password => "xxxx"
    		}
    	}
    	........
    }

配置完成后启动相关服务，后续的日志我们就可以按照新的分词规则往es中记录数据。  
后面在kibana中发现了tags.keyword,我们在配置sentinl是可以改为如下一样可以精确匹配到我们的数据：

{ 
       "term": { 
         "tags.keyword": "nlp-log-monitor"
       }
     },

> keyword：存储数据时候，不会分词建立索引,text：存储数据时候，会自动分词

--------------------

欢迎关注公众号： **编码是个技术活**

![在这里插入图片描述][20210219162337578.jpg_pic_center]

[20210219162337578.jpg_pic_center]: /images/20211204/f01360e8b7bb4cf8b2d538ebacdd3bbf.png