ELK 叁歲伎倆 2022-03-26 01:18 326阅读 0赞 ##### ELK简介 ##### 1. ElasticSearch: 分布式数据搜索引擎,用于全文搜索 //存储+搜索 2. Logstach : 数据收集引擎 3. Kibana: 提供分析平台和可视化的web平台,帮助汇总,分析和搜索数据日志 // 数据展现工具 ##### ElasticSearch结构 ##### > ES6.0之后,一个索引只有一个type(一个数据库中只有一个表) <table> <thead> <tr> <th>关系型数据库(mysql)</th> <th>非关系型数据库(ElasticSearch)</th> </tr> </thead> <tbody> <tr> <td>数据库Database</td> <td>索引index</td> </tr> <tr> <td>表Table</td> <td>类型type</td> </tr> <tr> <td>数据行Row</td> <td>文档Document</td> </tr> <tr> <td>数据列Column(字段)</td> <td>字段Field</td> </tr> <tr> <td>约束Schema</td> <td>映射Mapping</td> </tr> </tbody> </table> ##### ES状态查看 ##### 1. 查看节点健康状态 http://192.168.1.102:9200/_cat/health?v ![在这里插入图片描述][20190114191848949.png] 1. 查看节点列表 http://192.168.1.102:9200/_cat/nodes?v ![在这里插入图片描述][20190114192053204.png] 1. 查看索引列表(相当于查看数据库) http://192.168.1.102:9200/_cat/indices?v ![在这里插入图片描述][20190114192404113.png] ##### Kibana ##### ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70] * Discover:用于数据查询工具 * Visualize:生成图标 * Dashboard:将生成的表放入到仪表盘中 * Timelion: 实时性数据对比 * APM:集群检测平台工具 * Dev Tools:开发者工具(开发常用) ##### ES索引操作(对数据库操作) ##### ###### 创建索引 ###### 完整语法: curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID> * kibana会自动进行省略,帮助简化操作 curl -XPUT 'hadoop102:9200/index' 在Dev Tools中会自动进行省略 ==》PUT /index ###### 查询索引 ###### PUT /index GET /index ###### 删除索引 ###### DELETE /index ![在这里插入图片描述][20190114195941442.png] ##### ES数据库分片和副本 ##### > 默认情况下,创建索引时会有5个数据分片,每个分片默认一个副本 ###### 工具查看分片和副本情况 ###### ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70 1] * 通过下图可以看出,默认情况下index会有5个分片,每个分片一个副本 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70 2] ##### 文档相关操作 ##### ###### 添加文档(相当于mysql中的一行数据) ###### POST /index/student/1 { "name":"wangyg", "age":25 } ###### 查询 ###### GET /index/student/1 ###### 更新操作 ###### POST /index/student/1/_update { "doc":{ "name":"dilireba" } } ###### 删除 ###### DELETE index/student/1 ##### ES文档查询 ##### ###### 文档查询的两种操作风格 ###### * REST查询风格(使用URL方式发送请求) * REQUEST BODY:(使用请求体方式) ##### REST风格查询 ##### ###### 索引查询语法 ###### 常用: GET /index/student/_search //查询指定索引的文档 GET /index,index1/_search //查询多个索引的文档 GET /in*/_search //类似模糊查询 ###### 泛查询 ###### GET test12/_search?q=tom df:指定字段 GET test12/_search?q=tom&df=name ###### 指定字段查询 ###### GET test12/_search?q=name:tom ###### term查询 ###### GET /test12/_search?q=username:tom jack //相当于or的关系,只要满足其中一个即可 ###### phrase查询 ###### GET /test12/_search?q=username:"tom jack" //查询满足这个单词需要的即可 ###### 排序查询 ###### GET test12/_search?q=tom&sort=age:asc //升序查询 //desc降序查询 ###### 查询时间 ###### GET test12/_search?q=tom&df=user&timeout=1s //超过的超时时间限制 ###### 操作符语法 ###### AND :与 OR :或 NOT:非 + :must - :must_not 范围查询:[] ==>ex: [1 TO 10] 通配符查询: ?:1个字符 * :多个字符 近似度查询fuzzy query//模糊查询 :name:le~1 group查询:通过( ) 进行分组 GET test12/_search?q=username:(tom OR jack) AND lee ###### 查询的执行计划查看 ###### * Mysql的执行计划 1. 解析mysql语法 --解析mysql语法 2. 逻辑执行计划表--形成一个逻辑执行计划表 3. 对逻辑执行计划表优化--优化 4. 生成物理执行计划 5. plan 执行 * ES查看的执行计划 GET test12/_search?q=tom { "profile":true } ##### request body方式查询 ##### ###### 普通方式查询 ###### GET test12/_search { "query":{ "match": { "username": { "query":"tom jack" "operator":"and" //可以增加operator控制单词间的关系 } } } } minimum_should_match参数可以控制需要匹配的单词数 GET test12/_search { "query":{ "match": { "username": { "query":"tom jack", "operator":"and", "minimum_should_match":3 } } } } #### 倒排索引 #### > 索引:可以理解为搜索的引导目录 > 正排索引:mysql中通过索引记录的地址值,直接将数据获取到 > 倒排索引:将一行内容,进行分词,放入分词表,(分词表中形式为类似于 key,id ),查询时,先进入索引区查找,找到多个id,==》通过词key,找到id,再继而找到具体内容 [20190114191848949.png]: /images/20220326/dab33f104cb24da28c6efbadb4dfd222.png [20190114192053204.png]: /images/20220326/4ef81dce86964a4f89943ffbd0e913a1.png [20190114192404113.png]: /images/20220326/96736ceb1d9b470e8428b519c2c5a020.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70]: /images/20220326/673585e37eb64254beac2988cca7f949.png [20190114195941442.png]: /images/20220326/8db4831b7a4042b5948478418834ade4.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70 1]: /images/20220326/d161d7563a204e83809f3fd41db27419.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70 2]: /images/20220326/e24992880b844b81a7742b536b18280d.png
相关 ELK部署 ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBe 朱雀/ 2022年12月27日 15:29/ 0 赞/ 92 阅读
相关 ELK实战--Kafka+ELK 原文网址:[ELK实战--Kafka+ELK\_IT利刃出鞘的博客-CSDN博客][ELK_--Kafka_ELK_IT_-CSDN] 其他网址 [ELK-Kafka分 ╰半橙微兮°/ 2022年10月30日 14:28/ 0 赞/ 293 阅读
相关 elk 关系型 -------- 非关系型 MySQL ?--? NoSQL Database ----> Index Table ----> Type Row --- 绝地灬酷狼/ 2022年05月21日 12:20/ 0 赞/ 213 阅读
相关 ELK-01 elk初体验 elk是什么 在项目初期的时候,大家都是赶着上线,一般来说对日志没有过多的考虑,当然日志量也不大,所以用log4j就够了,随着应用的越来越多,日志散落在各个服务器的log ╰半夏微凉°/ 2022年05月16日 00:05/ 0 赞/ 569 阅读
相关 elk安装 1、准备 1.1 简介 ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。 Elasticsearch是实时 以你之姓@/ 2022年05月15日 15:56/ 0 赞/ 331 阅读
相关 ELK ELK简介 1. ElasticSearch: 分布式数据搜索引擎,用于全文搜索 //存储+搜索 2. Logstach : 数据收集引擎 3. 叁歲伎倆/ 2022年03月26日 01:18/ 0 赞/ 327 阅读
相关 ELK \- ELK构建MySQL慢日志收集平台详解:https://mp.weixin.qq.com/s/umH7ImZZVhdfgMdZ3Hz5fA \- ELK日志系统之使用R 心已赠人/ 2022年01月12日 10:25/ 0 赞/ 308 阅读
相关 ELK E:Elasticsearch 基于开源分布式搜索引擎Lucene实现,接近实时(NRT,Near Realtime)的搜索平台 基本概念 Cluster - Dear 丶/ 2021年11月22日 19:54/ 0 赞/ 347 阅读
相关 ELK 学习 [\[Udemy\] ES 7 and Elastic Stack - part 1][Udemy_ ES 7 and Elastic Stack - part 1] Re 骑猪看日落/ 2021年11月05日 02:40/ 0 赞/ 328 阅读
相关 elk文件 =================正则匹配 [root@web02 conf.d] cat apache-grok.conf input{ 素颜马尾好姑娘i/ 2021年09月20日 12:50/ 0 赞/ 282 阅读
还没有评论,来说两句吧...