海量可视化日志分析平台之ELK搭建

蔚落 2022-08-09 11:48 195阅读 0赞

ELK是什么？   
E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。   
L=LogStash ， 一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元   
K=Kibana ， 一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作，并拥有漂亮的图形化展示功能   
  
为什么要用ELK？   
  
在实际应用中，我们的日志是非常重要的，它通常会记录一些比较重要的信息，如应用程序的log记录的error，warn级别的log，通常在量小的情况下，我们可以直接vi+awk+sed+grep定位原因，在量大的时候，这种方式就捉襟见肘了，而且我们还要各种聚合，或者基于异常多个关键词的搜索，并有且，或，交，并，差，补，排序等一些操作，而且相应速度必须给力，如果线上环境出了故障，能够立刻准确定位，ELK就是高手，在百万大军中取上将首级，犹如探囊取物，所以这时候ELK就非常适合了，当然除此之外，ELK也经常在运维工作中大放光彩，在应用级别的实时监控，非常适合一些重要核心服务的预警。   
  
  
ELK如何安装搭建？   
  
环境要求：   
Linux系统：Centos7   
  
![点击查看原始大小图片][7cf7e00d-2734-3769-aeaf-c76e7a779356.png]   
  
  
Java版本：JDK1.8   
  
![35db1315-89e6-3cba-9824-085982f023bb.png][]   
  
  
ELK均为最新版本：   
  
![8ae81527-cc15-3826-9759-0d15790ef9ba.png][]   
  
  
  
（1）ElasticSearch1.7.2 基于Lucene4.10.4的版本   
  
![f11d78e3-4be3-3fec-b44e-f97ddf8010ab.png][]   
  
（2）Logstash1.5.4   
  
![bee1c24f-5404-3c32-97a5-cfe20dcf5613.png][]   
  
  
（3）Kibana4.1.2   
  
![22f015e3-9076-3734-a2af-299cc67bbc47.png][]   
  
  
  
集群拓扑：   
  
ElasticSearch 3台机器：   
集群名：search   
机器名+es节点名 => ip地址   
h1 => 192.168.1.120   
h2 => 192.168.1.121   
h3 => 192.168.1.122   
  
Logstash 192.168.1.120   
Kibana 192.168.1.120   
  
  
下载：   
elasticsearch： wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz   
logstash ： wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz   
kibana ： wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz   
  
  
一： 安装elasticsearch集群：   
  
（1）解压到指定目录   
（2）配置elasticsearch.yml里面，集群名字和节点名字，如果不配置默认集群名为elasticsearch，节点名随机生成一个   
（3） 在线安装head和bigdisk插件   
直接在elasticsearch的根目录下，分别输入：   
bin/plugin --install mobz/elasticsearch-head 安装head   
bin/plugin --install lukas-vlcek/bigdesk 安装bigdesk   
  
（4）scp分发安装完毕后的elasticsearch   
（5）依次启动各个机器上的elasticsearch   
（6）head显示如下：   
  
  
![点击查看原始大小图片][4fef6cf7-cbcd-3ae0-ae0f-b3e0006b2810.png]   
![点击查看原始大小图片][3e7081d6-8eb6-3115-b9f4-50e6d6fbc906.png]   
  
  
  
（7）bigdisk显示如下：   
  
  
  
  
![点击查看原始大小图片][8ecfcc58-7729-3f93-a064-78aee3482087.png]   
  
  
![点击查看原始大小图片][ef894b78-3f65-3d75-9393-7e95ecf3c861.png]   
  
  
二：安装logstash   
  
（1）解压到指定目录   
（2）在根木下新建一个conf目录，在里面新建一个配置文件first.conf   
  
![f7bfd723-f4a7-39c9-a13d-ff089a37c539.png][]   
  
（3）启动logstash   
执行命令： bin/logstash -f conf/first.conf   
  
![点击查看原始大小图片][409bd314-5f75-3a77-a96b-4016b0e519cf.png]   
  
  
  
三：安装kibana   
（1）解压到指定目录   
（2）在根目录执行bin/kibana直接启动   
（3）访问http://192.168.1.120:5601/ 配置一个ElasticSearch索引   
（4）在logstach里面添加数据   
  
![ea3fc218-7972-34bd-ae69-6d7007e2011b.png][]   
  
  
（5）查看图表：刚新加的数据   
  
![点击查看原始大小图片][79e1a3d5-1483-3f74-816d-c7a1d12ac2bb.png]   
  
  
  
  
四： 至此，ELK组件已经安装完毕，带图形化界面的简单日志查询分析系统就搞定了   
  
本篇只是一个简单的入门例子，如需深入可以研究elastic的官网文档：   
https://www.elastic.co/guide/index.html

[7cf7e00d-2734-3769-aeaf-c76e7a779356.png]: /images/20220731/540fab16ee3542cd90d1c5f443111379.png
[35db1315-89e6-3cba-9824-085982f023bb.png]: /images/20220731/2b0c0aa08d0c4aa780fb5290c0870991.png
[8ae81527-cc15-3826-9759-0d15790ef9ba.png]: /images/20220731/7cc8e9b682cf4a918d83bd0c8e835003.png
[f11d78e3-4be3-3fec-b44e-f97ddf8010ab.png]: /images/20220731/d435faf82f514e8daf5f15ce4dc1b9c2.png
[bee1c24f-5404-3c32-97a5-cfe20dcf5613.png]: /images/20220731/a7b683e450c5402d89871139cd17c83f.png
[22f015e3-9076-3734-a2af-299cc67bbc47.png]: /images/20220731/fac5f7e57a9848998b6edbab68b7835c.png
[4fef6cf7-cbcd-3ae0-ae0f-b3e0006b2810.png]: /images/20220731/d5446d13d857482c986ca393db502779.png
[3e7081d6-8eb6-3115-b9f4-50e6d6fbc906.png]: /images/20220731/76434e6915964f628b0e3bc0bbb77e0b.png
[8ecfcc58-7729-3f93-a064-78aee3482087.png]: /images/20220731/ff0af31a2aa54bb08bfd72053e73303f.png
[ef894b78-3f65-3d75-9393-7e95ecf3c861.png]: /images/20220731/566bff5e72694d3ab232ae942ee7cbe7.png
[f7bfd723-f4a7-39c9-a13d-ff089a37c539.png]: /images/20220731/4e3ed689f0ac4d3a9ebf38b307ae0999.png
[409bd314-5f75-3a77-a96b-4016b0e519cf.png]: /images/20220731/5a36a143f83e476898a5726e7599ec48.png
[ea3fc218-7972-34bd-ae69-6d7007e2011b.png]: /images/20220731/dddec86ea4fd4391b3c2247b00c05255.png
[79e1a3d5-1483-3f74-816d-c7a1d12ac2bb.png]: /images/20220731/5e1bf34b65d94a3ab56c893fc45b19f8.png