ELK（Elasticsearch、Logstash、Kibana）

女爷i 2022-05-21 02:04 296阅读 0赞

*  ## 一、ELK三大组件介绍 ##
 *  Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
 *  Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
 *  Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

## 二、elasticsearch安装部署 ##

单机版：

![70][]

修改配置文件

![70 1][]

编辑集群名称、主机名

![70 2][]

锁定物理内存地址，防止elasticsearch内存被交换出去,也就是避免es使用swap交换分区

绑定ip打开端口

![70 3][]

但此时启动服务是失败的，需要java环境

![70 4][]

安装java环境后，启动需要解决日志报错，在/etc/security/limits.conf解除限制条件

![70 5][]

![70 6][]![70 7][]

完成后可以正常启动，网页查看如下图

![70 8][]

安装head 插件,它是一个用浏览器跟 ES 集群交互的插件,可以查看集群状态、集群的 doc 内容、执行搜索和普通的 Rest 请求。

![70 9][]

![70 10][]

ip:9200/\_plugin/head/访问

![70 11][]

可以写入一个请求进行测试：黄色表示分辨率丢失，我们通过加入其他主机建立集群来解决

![70 12][]![70 13][]

在另外两台机器server2、server3同样安装elasticsearch和jave环境，并在三台机器做好本地解析

编辑配置文件如下：server2和server3为数据节点只存储数据，配置文件修改大致相同，这里只给出server2、server3以此类推

![70 14][]

![70 15][]

当启动节点时，通过这个主机名列表进行节点发现，组建集群

![70 16][]

同样解决日志报错

![70 17][]

server1做主节点、不存储数据

![70 18][]

完成后重启服务，再次访问，由黄色变成绿色，绿色表示正常，分布式存储如图

![70 19][]

生产环境中 master节点只作master  最少3个来互相竞选master

数据节点由数据量决定 客户端节点（既不是master也不存数据来做负载均衡）

调API的操作，这里只使用了GET和DELETE如果感兴趣，可以根据官方文档继续深入

![70 20][]![70 21][]![70 22][]

## 三、Logstash安装部署 ##

rpm包安装并以键值对的形式进行输入输出

![70 23][]![70 24][]

编辑完成测试

![70 25][]![70 26][]![70 27][]

再次编辑.conf文件，显示日志信息

![70 28][]![70 29][]![70 30][]

begining表示文件从开始开始读取，并且会记录进程号，如果没有操作再次运行不会继续存储记录，知道有操作才会继续记录，要想重新开始存储删除sincedb文件才可以重新读取

![70 31][]

将其他节点的日志同步到master节点

编辑数据节点的日志文件，完成后重启

![70 32][]![70 33][]

在主节点编辑.conf文件如下图

![70 34][]

web端查看

![70 35][]

将多行事件变成一行，编辑.conf文件加入过滤规则，如图

![70 36][]

按我们的想法处理数据，格式化数据，过滤数据

这里做APACHE和NGINX的数据过滤，显示我们想要的内容

在如图目录下有httpd的显示模版，这里我们可以在.conf文件里直接调用

![70 37][]![70 38][]

![70 39][]

完成后测试查看，成功过滤出我们需要的内容

![70 40][]![70 41][]

NGINX相似

我们在server2来做nginx，操作如图，安装nginx并启动，安装logstash![70 42][]

编辑.conf文件如图，这里比apache多出的内容对比nginx的配置文件可以找到

![70 43][]![70 44][]![70 45][]

完成后需要修改nginx日志文件的权限，让ela可以读取，完成即可执行，成功过滤出我们想要的内容

![70 46][]

![70 47][]![70 48][]

## 四、Kibana的安装部署 ##

## rpm包安装，并编辑配置文件，指定Kibana接收的es信息主机IP以及端口、创建Kibana的索引 ##

![70 49][]![70 50][]

kibana的默认端口是5601

![70 51][]![70 52][]

创建索引内容，这里我引用的是nginx日志，完成后即可进行设置想要监控的内容

![70 53][]![70 54][]

[70]: /images/20220521/654cccd831cd4b7fa588aa4d8bb06d61.png
[70 1]: /images/20220521/8b6e5eb7d3c045a5b0b8502defa7bdca.png
[70 2]: /images/20220521/582d79c9738b43deb04366b7e72dc526.png
[70 3]: /images/20220521/e08e2f61c4d74e8984795581e7ec7f99.png
[70 4]: /images/20220521/1c4a5ea226784470b607f0106779b731.png
[70 5]: /images/20220521/4aa1eaa92d0c4b018533c095a0b40c1b.png
[70 6]: https://img-blog.csdn.net/20180627202726294?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 7]: /images/20220521/ec4db30213d04ca7aa57e3233c4a1d95.png
[70 8]: /images/20220521/04ea48345b8a4e798bc9763b9b2734f8.png
[70 9]: /images/20220521/021c2718c1ba46b0b55cca462bb7e307.png
[70 10]: /images/20220521/83496384dffa4375ac4a9c8a04d810f3.png
[70 11]: /images/20220521/88aabd52b320484eb882c71ecdd5ea47.png
[70 12]: https://img-blog.csdn.net/20180627203539803?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 13]: /images/20220521/f35637762c654967bf4653dce3d7026e.png
[70 14]: /images/20220521/55679bcf1c6a4e4aa605d13f7c203b7a.png
[70 15]: /images/20220521/6828ba0e82694e9796db74a2945d6cd2.png
[70 16]: /images/20220521/2d73ead65ea14aa4872159a63cdb9215.png
[70 17]: /images/20220521/4492a37b80714c9ab54e2abe8bafea2f.png
[70 18]: /images/20220521/db5444e5c4c84748b04b2f44e7a4d1a6.png
[70 19]: /images/20220521/11fb12cf77a34b739c88c7ac5bce2a47.png
[70 20]: https://img-blog.csdn.net/20180627205056600?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 21]: https://img-blog.csdn.net/20180627205120410?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 22]: /images/20220521/22c9bc09ea6b4b75b356efef257e2ef0.png
[70 23]: https://img-blog.csdn.net/20180627205654509?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 24]: /images/20220521/704bbf4592d842dcab13b3b9557eb4a0.png
[70 25]: https://img-blog.csdn.net/20180627205727540?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 26]: https://img-blog.csdn.net/20180627205734109?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 27]: /images/20220521/b4a915ad4198434c879b6e7fac494169.png
[70 28]: https://img-blog.csdn.net/20180627205829338?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 29]: https://img-blog.csdn.net/2018062720584216?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 30]: /images/20220521/cade3c23e2e54fc38b676b1daefa302f.png
[70 31]: /images/20220521/11a4023fef7041e4b6bab194d784c7d8.png
[70 32]: https://img-blog.csdn.net/20180627210104851?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 33]: /images/20220521/cf2268bda7df46f2b0dc26cb9713ce81.png
[70 34]: /images/20220521/07a081ebe2d74df387aa02ef3221b42a.png
[70 35]: /images/20220521/06fd342b8c0b4bac90bb091671c8339a.png
[70 36]: /images/20220521/a285617c5b884d48abfd7ec2749e40e3.png
[70 37]: https://img-blog.csdn.net/20180627210535124?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 38]: /images/20220521/30a703f380d24eb18e6b34c41b4b2817.png
[70 39]: /images/20220521/e394e8231a82458ab52dd0b3b8716987.png
[70 40]: https://img-blog.csdn.net/20180627210641135?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 41]: /images/20220521/a2e2f03319bb47789d2d7c02a6925fe5.png
[70 42]: /images/20220521/8af3d4866882469e9c80d13d8807167c.png
[70 43]: https://img-blog.csdn.net/20180627210919937?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 44]: https://img-blog.csdn.net/20180627210932261?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 45]: /images/20220521/62121e95d6fe44889fa65e1fc059b21b.png
[70 46]: /images/20220521/11fcd7390e704ac2b8ca1694de18226d.png
[70 47]: https://img-blog.csdn.net/20180627211204212?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 48]: /images/20220521/68618ff043b54671a2c9cc77280a7ab7.png
[70 49]: https://img-blog.csdn.net/20180627211444945?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 50]: /images/20220521/44a1f805d35d4a23a0a0efe4a65d8341.png
[70 51]: https://img-blog.csdn.net/20180627211523691?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 52]: /images/20220521/08cf5c6acada4dee8507c173ce531dcf.png
[70 53]: https://img-blog.csdn.net/20180627211649568?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1drX3l5eQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 54]: /images/20220521/924da20909ba4e9099070aa24064e39a.png

ELK（Elasticsearch、Logstash、Kibana）

发表评论取消回复

还没有评论，来说两句吧...

相关阅读