原版Filebeat+ELK

小咪咪 2023-06-27 12:53 43阅读 0赞

在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程，有不对的地方还望指出。

**简单介绍：**

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。  
  
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

Filebeat+ELK是四个开源工具组成，简单解释如下：

Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

Elasticsearch：是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash：是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

Kibana：也是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

这里之所以用Filebeat+ELK是因为Filebeat相对于logstash而言，更轻量级，占用系统资源少。

**实验拓扑图**

![1412140-20180614143410190-1938891317.png][]

** 环境信息：**

<table> 
 <tbody> 
  <tr> 
   <td>操作系统</td> 
   <td>ip地址</td> 
   <td>软件</td> 
  </tr> 
  <tr> 
   <td>centos6.9</td> 
   <td>10.104.34.101</td> 
   <td>filebeat6.2.4</td> 
  </tr> 
  <tr> 
   <td>centos6.8</td> 
   <td>10.135.67.165</td> 
   <td>Logstash6.2.4</td> 
  </tr> 
  <tr> 
   <td>centos6.8</td> 
   <td>10.135.67.165</td> 
   <td>Elasticsearch6.2.4</td> 
  </tr> 
  <tr> 
   <td>centos6.8</td> 
   <td>10.135.173.165</td> 
   <td>Kibana6.2.4</td> 
  </tr> 
 </tbody> 
</table>

我这里把elasticsearch和logstash部署在同一台服务器上了。

**安装步骤：**

1、配置Java环境：(安装elasticsearch的时候需要有Java环境，jdk可以去oracle官方网站下载，版本号可以和我的不一样)

#rpm -ivh jdk-8u102-linux-x64.rpm

![1412140-20180614165648138-201696371.png][]

2、安装elasticsearch：

#wget -P /usr/local/src/ https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
    #cd /usr/local/src
    #tar xvf elasticsearch-6.2.4.tar.gz
    #cp elasticsearch-6.2.4/config/elasticsearch.yml elasticsearch-6.2.4/config/elasticsearch.yml.default   --备份elasticsearch的默认配置文件，以防止修改时出错

![1412140-20180614193430344-1383205238.png][]

bootstrap.memory\_lock: false

bootstrap.system\_call\_filter: false

这两行配置主要是为了解决之后启动elasticsearch会报检测失败的一个错，报错内容如下：

ERROR: bootstrap checks failed  
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

原因：这是在因为Centos6不支持SecComp，而ES5.2.0版本之后默认bootstrap.system\_call\_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。

添加elastic用户，tar包启动必须使用普通用户运行

#useradd elastic
    #chown -R elastic. /usr/local/src/elasticsearch-6.2.4

打开sysctl.conf文件，添加如下内容：

#vim /etc/sysctl.conf
     vm.max_map_count = 655360
    #sysctl -p /etc/sysctl.conf

打开/etc/security/limits.conf文件，修改打开文件句柄数

![复制代码][copycode.gif]

#vim /etc/security/limits.conf  --添加如下内容
     * soft nofile 65536
     * hard nofile 65536
     * soft nproc 65536
     * hard nproc 65536
    切换到elastic普通用户
    #su - elastic
    $cd /usr/local/src/elasticsearch-6.2.4
    $./bin/elasticsearch

![复制代码][copycode.gif]

![1412140-20180614193232979-1848766643.png][]

第一次启动需要一些时间，因为需要做一些初始化动作，如果没启动成功请查系elasticsearch的相关日志解决。注意上面只是前台启动调试，在后台需要加&，需要重新启动。

查看端口是否开启：

![1412140-20180614194336146-1645190895.png][]

curl简单的测试下：

![1412140-20180614194757416-388190813.png][]

3、安装logstash

#wget -P /usr/local/src https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz
    #cd /usr/local/src/
    #tar xvf logstash-6.2.4.tar.gz

4、安装filebeat

#wget -P /usr/local/src https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz
    #cd /usr/local/src
    #tar xvf filebeat-6.2.4-linux-x86_64.tar.gz
    #cp /usr/local/src/filebeat-6.2.4/filebeat.yml /usr/local/src/filebeat-6.2.4/filebeat.yml.default

编辑filebeat.yml文件，内容如下：

![1412140-20180614200509599-1353001941.png][]

启动filebeat服务：

#cd /usr/local/src/filebeat-6.2.4
    #./filebeat &  --在后台运行

注意：filebeat没有监听端口，主要看日志和进程，filebeat监听的文件记录信息在/usr/local/src/filebeat-6.2.4/data/registry里面

![1412140-20180614201406188-1538291544.png][]

然后新建一个logstash启动指定logstash.conf的配置文件，内容如下：

![1412140-20180614201848254-612507310.png][]

这里我们只配置了input和output部分，其实Logstash默认有input、filter、output三个区域，但一般至少配置input和output部分就够了，并且logstash的默认配置文件logstash.yml我们选择不修改就行。

下面我们启动logstash，然后进行先进行简单的测试：

#cd /usr/local/src/logstash-6.2.4
    #./bin/logstash -e 'input { stdin { } } output { stdout { } }' --先进行不指定配置文件测试
    当我们输入hello world的时候，对应的下面也会输出

![1412140-20180614203728621-795780917.png][]

接下来指定配置文件logstash.conf进行测试：

#cd /usr/local/src/logstash-6.2.4
    #./bin/logstash -f config/logstash.conf   --这里我们先前台启动方便调试，待调试成功后再后台启动

![1412140-20180614204816036-352107568.png][]

这个启动完一会后会输出如下数据，这些数据就是filebeat从access.log里采集过来的日志，其实这些数据也输入到了elasticsearch当中，可以用curl http://ip:9200/\_search?pretty

进行验证(ip为elasticsearch的ip)

![1412140-20180614205648387-1460613165.png][]

当然我们也可以看到对应的端口9600和5044是开启的

![1412140-20180614210247190-1616839962.png][]

5、安装kibana

#wget -P /usr/local/src https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz
    #cd /usr/local/src
    #tar xvf kibana-6.2.4-linux-x86_64.tar.gz
    #cp kibana-6.2.4-linux-x86_64/config/kibana.yml  kibana-6.2.4-linux-x86_64/config/kibana.yml.default

编辑kibana的配置文件

![1412140-20180614213553435-1724054384.png][]

这里server.host理论上来说配置成本服务器的外网ip即可，但是我用的云服务器，配置成相应的外网ip在启动的时候会报无法分配对应的ip地址，至于是什么原因我也没搞明白，但是配置成0.0.0.0后就可

以正常启动。

![1412140-20180614214625256-667811345.png][]

打开浏览器输入：http://ip:5601(ip为kibana的外网ip地址)

![1412140-20180614214951086-2125046972.png][]

进来之后首先创建一个索引，然后输入Time Filter field name名字，均填完之后点击创建。

![1412140-20180614220307274-1876949277.png][]

点击Discover可以看到采集的日志已经到kibana这里来了，至此，filebeat+elk日志分析系统就搭建完了，还有许多高级功能需不断学习。

![1412140-20180929095159283-167478309.png][]

[1412140-20180614143410190-1938891317.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614143410190-1938891317.png
[1412140-20180614165648138-201696371.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614165648138-201696371.png
[1412140-20180614193430344-1383205238.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614193430344-1383205238.png
[copycode.gif]: https://common.cnblogs.com/images/copycode.gif
[1412140-20180614193232979-1848766643.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614193232979-1848766643.png
[1412140-20180614194336146-1645190895.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614194336146-1645190895.png
[1412140-20180614194757416-388190813.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614194757416-388190813.png
[1412140-20180614200509599-1353001941.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614200509599-1353001941.png
[1412140-20180614201406188-1538291544.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614201406188-1538291544.png
[1412140-20180614201848254-612507310.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614201848254-612507310.png
[1412140-20180614203728621-795780917.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614203728621-795780917.png
[1412140-20180614204816036-352107568.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614204816036-352107568.png
[1412140-20180614205648387-1460613165.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614205648387-1460613165.png
[1412140-20180614210247190-1616839962.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614210247190-1616839962.png
[1412140-20180614213553435-1724054384.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614213553435-1724054384.png
[1412140-20180614214625256-667811345.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614214625256-667811345.png
[1412140-20180614214951086-2125046972.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614214951086-2125046972.png
[1412140-20180614220307274-1876949277.png]: https://images2018.cnblogs.com/blog/1412140/201806/1412140-20180614220307274-1876949277.png
[1412140-20180929095159283-167478309.png]: https://img2018.cnblogs.com/blog/1412140/201809/1412140-20180929095159283-167478309.png