ELK架构解读

浅浅的花香味﹌ 2022-01-29 02:51 402阅读 0赞

### **一、ELK是什么鬼？** ###

ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。

**1. ElasticSearch**

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

**2. Logstash**

Logstash是一个用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。

**3. Kibana**

Kibana是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持。

###  **二、架构图** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIwODA0Mg_size_16_color_FFFFFF_t_70][]

### **三、架构解读** ###

**第一层：数据采集层**

LOGS层:业务应用服务器集群，使用filebeat对应用服务器的日志进行采集。

**第二层：数据缓冲层**

zookeeper+kafka层:日志采集客户端采集来的数据，转存到kafka+zookeeper集群中,做一个消息队列，让数据有一定的缓冲

**第三层：数据转发层**

logstash层:这个单独的Logstash节点会实时去kafka broker集群拉数据，转发至ES DataNode。

**第四层：数据持久化存储层**

ES层：会把收到的数据，写磁盘，建索引库。

**第五层：数据检索、展示层**

Kibana层： 主要协调ES集群，处理数据检索请求，数据展示。

ELK部署：[lilong00404的个人空间][lilong00404]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIwODA0Mg_size_16_color_FFFFFF_t_70]: /images/20220129/b7663968f11e4b43b295afa9f87a48fa.png
[lilong00404]: https://my.oschina.net/xuesong0204/blog/919760

发表评论取消回复

表情：

评论列表（有 0 条评论，402人围观）

还没有评论，来说两句吧...

相关阅读

相关 ELK的架构和组件

ELK是一套基于开源软件的日志管理解决方案，包括Elasticsearch、Logstash和Kibana三个组件，下面对它们的架构和组件进行介绍： 1. Elastics

痛定思痛。/ 2024年03月26日 15:48/ 0 赞/ 93 阅读

相关 ELK架构原理分析

一、日志简介 1.1 什么是日志日志是带时间戳的基于时间序列的机器数据，包括IT系统信息（服务器、网络设备、操作系统、应用软件）、物联网各种传感器信息。日志反映用

柔情只为你懂/ 2023年06月17日 15:59/ 0 赞/ 13 阅读

相关 ELK：简述对ELK架构的认识

一、ELK的使用背景一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量

小咪咪/ 2023年06月16日 02:19/ 0 赞/ 68 阅读

相关 ELK+redis高级架构

文章目录前言 nginx+redis+filebeat+logstash+elasticsearch+kibana 工作展示图 redi

男娘i/ 2023年02月13日 03:17/ 0 赞/ 152 阅读

相关 ELK概念清单(ELK架构入门必读)

之前尝试了[用mysql做大规模数据的检索优化][mysql]【点击查看】可以看到单字段检索的情况下，是可以通过各种手段做到各种类型索引快速检索的，那是一种相对简单的场景。

超、凢脫俗/ 2022年12月22日 06:28/ 0 赞/ 209 阅读

相关 Facebook架构解读

Facebook架构解读转载于：http://geek.csdn.net/news/detail/51575 从我看过的各种资料，还有与各式人等

落日映苍穹つ/ 2022年08月19日 14:07/ 0 赞/ 168 阅读

相关 Facebook架构解读

![图片描述][20160118100840130] 从我看过的各种资料，还有与各式人等的交谈中，可以得出Facebook现在的架构是这样的： Web前端用PHP语言

ゝ一纸荒年。/ 2022年05月24日 01:14/ 0 赞/ 332 阅读

相关 JVM 架构解读

每个Java开发人员都知道字节码由JRE（Java运行时环境）执行。但许多人不知道JRE是Java Virtual Machine（JVM）的实现，它分析字节码，解释代码并执行

傷城~/ 2022年02月15日 21:13/ 0 赞/ 245 阅读

相关 ELK架构解读

一、ELK是什么鬼？ ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多

浅浅的花香味﹌/ 2022年01月29日 02:51/ 0 赞/ 403 阅读

相关 elk架构

（1）Kafka：接收用户日志的消息队列。（2）Logstash：做日志解析，统一成JSON输出给Elasticsearch。（3）Elasticsearch

迈不过友情╰/ 2021年11月14日 12:38/ 0 赞/ 329 阅读