linux中搭建ElasticSearch-2.x Logstash-2.x Kibana-4.5.x Kafka为消息中心的ELK日志平台

我会带着你远行 2022-06-01 01:07 67阅读 0赞

介绍

ELK是业界标准的日志采集,存储索引,展示分析系统解决方案  
logstash提供了灵活多样的插件支持不同的input/output  
主流使用redis/kafka作为日志/消息的中间环节  
如果已有kafka的环境了,使用kafka比使用redis更佳  
以下是一个最简化的配置做个笔记,elastic官网提供了非常丰富的[文档][Link 1]  
不要用搜索引擎去搜索,没多少结果的,请直接看官网文档

采用的ELK/kafka版本

elasticsearch-2.x  
logstash-2.3  
kibana-4.5.1

Kafka 0.9.0.1

应用/网络 环境

Nginx机  
10.0.0.1

Kafka群集  
10.0.0.11  
10.0.0.12  
10.0.0.13

ElasticSearch机  
10.0.0.21

整体说明

数据流向

日志/消息整体流向  
logstash => kafka => logstash => elasticsearch => kibana

安装

elk所有安装都可以使用rpm二进制包的方式,增加elastic官网的仓库repo就可以用yum安装了

elasticsearch看这里  
https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-repositories.html

logstash看这里  
https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

kibana看这里  
https://www.elastic.co/guide/en/kibana/current/setup.html

安装概览

nginx机 10.0.0.1  
运行nginx的日志格式化为json  
运行logstash输入input从nginx json,输出output到kafka

kafka群集 10.0.0.11 10.0.0.12 10.0.0.13  
kafka群集Topic为logstash

elasticsearch机10.0.0.21  
运行elasticsearch  
运行logstash输入input从kafka,输出output到elasticsearch

Nginx机

nginx日志格式化为json

在nginx的 http\{\} 中定义一个名为logstash\_json格式化,格式化日志为json

log\_format logstash\_json '\{ "@timestamp": "$time\_local", '  
'"@fields": \{ '  
'"remote\_addr": "$remote\_addr", '  
'"remote\_user": "$remote\_user", '  
'"body\_bytes\_sent": "$body\_bytes\_sent", '  
'"request\_time": "$request\_time", '  
'"status": "$status", '  
'"request": "$request", '  
'"request\_method": "$request\_method", '  
'"http\_referrer": "$http\_referer", '  
'"body\_bytes\_sent":"$body\_bytes\_sent", '  
'"http\_x\_forwarded\_for": "$http\_x\_forwarded\_for", '  
'"http\_user\_agent": "$http\_user\_agent" \} \}';

在server\{\} 中增加记录logstash\_json日志,可以用原有的日志输出共存

access\_log /data/wwwlogs/iamle.log log\_format;  
access\_log /data/wwwlogs/nginx\_json.log logstash\_json;  
logstash日志采集配置

/etc/logstash/conf.d/nginx.conf

input \{  
file \{  
path => "/data/wwwlogs/nginx\_json.log"  
codec => "json"  
\}  
\}  
filter \{  
mutate \{  
split => \[ "upstreamtime", "," \]  
\}  
mutate \{  
convert => \[ "upstreamtime", "float" \]  
\}  
\}  
output \{  
kafka \{  
bootstrap\_servers => "10.0.0.11:9092"  
topic\_id => "logstash"  
compression\_type => "gzip"  
\}  
\}  
Kafka群集

新建一个Topic

新建一个Topic叫做  
logstash

Topic  
每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）

ElasticSearch机

logstash把数据从kafka存到elasticsearch的配置

其中选取kafka群集任意一个有zk的ip做连接使用  
topic\_id就是kafka中设置的topic logstash  
/etc/logstash/conf.d/logstashes.conf

input \{  
kafka \{  
zk\_connect => "10.0.0.13:2181"  
topic\_id => "logstash"  
\}  
\}  
filter \{  
mutate \{  
split => \[ "upstreamtime", "," \]  
\}  
mutate \{  
convert => \[ "upstreamtime", "float" \]  
\}  
\}  
output \{  
elasticsearch \{  
hosts => \["10.0.0.21"\]  
index => "logstash-iamle-%\{+YYYY.MM.dd\}"  
document\_type => "iamle"  
workers => 5  
template\_overwrite => true  
\}  
\}  
补充说明

以上是主要的配置,就差kibana的查看/展示了

kibana

我这里kibana和elasticsearch是同一台机器  
官方yum方式安装的kibana配置文件在  
/opt/kibana/config/kibana.yml  
需要改2个地方,监听端口和es的连接信息

server.host: "10.0.0.21"  
elasticsearch.url: "http://10.0.0.21:9200"

启动kibana /etc/init.d/kibana start后可以通过 http://10.0.0.21:5601 访问

kibana的使用的多看官网文档,网上中文的资料不多,关于elk有一本饶琛琳写的  
ELKstack 中文指南

https://www.gitbook.com/book/chenryn/kibana-guide-cn/details  
kibana Discover 过滤静态文件  
NOT \\/static AND NOT \\/upload\\/

elasticsearch

官方yum方式安装的elasticsearch配置文件在

/etc/elasticsearch/elasticsearch.yml

需要配置下监听ip,默认是127.0.0.1

network.host: 10.0.0.21  
path.data: /data