【ELK】- 运行环境搭建

叁歲伎倆 2022-10-02 09:51 266阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

## ELK ##

ELK: ElasticSearch、Logstash、Kibana

用途：开源的日志分析系统

## ELK组件角色： ##

*  ElatsicSearch:基于Solr的全文检索引擎，近实时搜索
 *  Logstash:数据收集工具，将数据输入ElasticSearch(准备索引数据)
 *  Kibana: Web UI工具，给客户提供搜索引擎的可视化数据分析服务

--------------------

环境：Debian 9

注意：低版本的Linux内核可能回出现警告，建议使用高版本

--------------------

**小技巧**：

1.  建议虚拟机配置主机名-IP映射（hosts文件），使用IP地址时直接通过主机名映射
2.  ELK产品系列bin目录统一放入PATH路径，方便直接调用
3.  将ELK数据交互端口加入防火墙规则，避免被屏蔽导致外系统无法访问

sudo firewall-cmd --zone=public --add-port=9200/tcp –permanent
    sudo firewall-cmd --reload

--------------------

## ElasticSearch安装步骤： ##

1.  解压ES压缩包，修改elasticsearch-6.2.2/config/elasticsearch.yml

![925b2b563ec3291e76e305abebafe19e338.jpg][]

1.  启动ES : elasticsearch -d（后台运行）

![feca57161d84b3ec406923ee3e90672c51c.jpg][]

**可能报错**：

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方案：

1.  修改/etc/sysctl.conf，添加下列配置信息vm.max\_map\_count=655360
2.  修改文件/etc/security/limits.conf（限制线程访问个数，重启生效）

* soft nproc  4096
    * hard nproc  4096

1.  配置(/etc/sysctl.conf)生效：sudo sysctl -p 注意：部分系统不会立即生效，最好配置完成后系统重启

--------------------

## Logstash安装步骤 ##

1.  创建/logstash-6.2.2/config/log4j-pipeline.conf

input {
     log4j {
      mode => "server"
      host => "debian"
      port => 4560
     }
    }
    
    output {
     elasticsearch {
       hosts => [ "debian:9200" ]
       index => "log4j-%{+YYYY.MM.dd}"
       document_type => "log4j_type"
     }
    }

功能：将log4j的日志接入Logstash

input: logstash 数据输入源

*  log4j:表示接收log4j文件数据（需插件支持）
 *  mode: 默认服务器模式，log4j客户端主动推送数据到logstash
 *  host:logstash服务器地址
 *  port:logstash接收数据的接口（可自定义）

output: Logstash 数据输出目标地

*  elasticsearch:数据输出到ES
 *  hosts:ES服务器地址
 *  index:日志文件生成的索引名
 *  document\_type:文档类型

1.  Logstash启动：logstash -f config/log4j-pipeline.conf

![c9a5f35ee7c603e0e5e5bc8a646632f2bf2.jpg][]

问题：log4j插件默认未安装，导致log4j配置信息处理异常

解决：logstash-plugin install logstash-input-log4j（联网）

--------------------

## Kibana安装教程： ##

1.  解压kibana压缩包，修改配置

![425ad7b4a997fe2d233e0810b730ffde320.jpg][]

1.  Kibana启动： kibana

![e5891c9d0fc31d491063864d46d34c640fa.jpg][]

### Kibana使用步骤： ###

1.  创建索引查询模式：方便直接ES索引库

![00a30f508c6f259b0adb57c1412c1834674.jpg][]

1.  查看索引库文档

![52f62c42d3e0218225ff9af12ae4e4fc0e8.jpg][]

说明：索引库megacorp存在三个文档

1.  查询smith的记录：

![b430f477c5eeec14098a45ac82c3a3d238c.jpg][]

至此ELK整合完成。

转载于:https://my.oschina.net/yangzhiwei256/blog/3014225

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/668594030c9e45c88f1969b05153bdf2.png
[925b2b563ec3291e76e305abebafe19e338.jpg]: /images/20220113/3c940a655142491c906282f1e8f5d6e9.png
[feca57161d84b3ec406923ee3e90672c51c.jpg]: /images/20220113/6e60b8206298461a925ddda3470339ba.png
[c9a5f35ee7c603e0e5e5bc8a646632f2bf2.jpg]: /images/20220113/3252a1f4fec44ae1895543e8158e341e.png
[425ad7b4a997fe2d233e0810b730ffde320.jpg]: /images/20220113/7ddea48960074995be84f88ffe13cb05.png
[e5891c9d0fc31d491063864d46d34c640fa.jpg]: /images/20220113/556b2858cf664f52915165a4ec84fd73.png
[00a30f508c6f259b0adb57c1412c1834674.jpg]: /images/20220113/4110e9c825964891a97742267426ce0c.png
[52f62c42d3e0218225ff9af12ae4e4fc0e8.jpg]: /images/20220113/df306a71eb2b44d3a27bf7e8acc47d60.png
[b430f477c5eeec14098a45ac82c3a3d238c.jpg]: /images/20220113/fd4fb41c07f64f4492763340652f20a1.png