centos7安装elk之，安装logstash-6.6.0，同步mysql数据，详细安装步骤

清疚 2022-03-18 08:28 298阅读 0赞

之前的文章记录了从win10系统安装虚拟机centos7，再安装jdk8，开发环境，还有elasticsearch6.6.0和kibana6.6.0今天的安装需要在之前的基础上，

安装步骤都在我之前的博客哦！

本文记录安装logstash6.0版本

首先去官网下载最新版本：[https://www.elastic.co/downloads/logstash][https_www.elastic.co_downloads_logstash]

因为在linux中安装，所以找到这个tar.gz结尾的文件，如图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzE2Mjcy_size_16_color_FFFFFF_t_70][]

下载完成是这样的文件：

![20190220112016307.png][]

依旧上传到centos7中的/opt/elk目录中

将文件赋权给elk用户，

关于用户创建，赋权，方法都在我之前的文章中有提到，ll命令会显示文件的权限

![2019022011222480.png][]

首先切换到elk用户，在执行操作，注意不要用root用户直接解压，这样文件权限还是属于root，不利于下面的操作

解压文件logstash-6.6.0.tar.gz，执行命令：

tar -zxvf logstash-6.6.0.tar.gz

下面不着急，首先配置一下同步数据库，先得有jdbc驱动，于是我去maven下载吧

下载地址：[https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.47][https_mvnrepository.com_artifact_mysql_mysql-connector-java_5.1.47]

点击这个jar即可下载到本地

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzE2Mjcy_size_16_color_FFFFFF_t_70 1][]

文件是这样的：

![20190220112942490.png][]

上传到centos7中和我们的logstash安装目录中的bin文件夹中，方便在配置文件中获取。

![20190220113232925.png][]

准备一下很关键的配置文件：(文件名 mysql-logstash.conf，放置于bin目录下)

input {
     stdin { }
        jdbc {
            #需要同步的数据库
            jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/***"
    
            jdbc_user => "root"
    
            jdbc_password => "root"
            #本地jar包
            jdbc_driver_library => "mysql-connector-java-5.1.47.jar"
    
            jdbc_driver_class => "com.mysql.jdbc.Driver"
    
            jdbc_paging_enabled => "true"
    
            jdbc_page_size => "50000"
            #获取到记录的SQL查询语句
            statement => "SELECT * FROM details"
            #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
            schedule => "* * * * *"
        }
     }
    
     output {
         stdout {
            codec => json_lines
        }
        elasticsearch {
            #ESIP地址与端口
            hosts => "192.168.5.193:9200"
            #ES索引名称（自己定义的）
            index => "details"
            #文档类型
            document_type => "category"
            #文档类型id，%{category_id}意思是取查询出来的category_id的值，并将其映射到es中_id字段中
            document_id => "%{id}"
        }
    }

![20190220144416393.png][]

然后在bin目录下使用./logstash -f mysql-logstash.conf启动logstash

稍等一会可以看到控制台会打印数据库查到的数据的相关信息，则数据同步成功

打开kibana进行查询

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzE2Mjcy_size_16_color_FFFFFF_t_70 2][]

可以看到mysql中的数据进入了elasticsearch中.

同样，logstash也可以像之前文章中elasticsearch和kibana那样后台启动，并把日志输出到指定文件。

[https_www.elastic.co_downloads_logstash]: https://www.elastic.co/downloads/logstash
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzE2Mjcy_size_16_color_FFFFFF_t_70]: /images/20220318/282a4f4c12fc4091ae1fa273e3ff39c1.png
[20190220112016307.png]: /images/20220318/26df4b844a6a4749ade3c0f52c20dbc4.png
[2019022011222480.png]: /images/20220318/982e7781662749fd9853073f39db7a82.png
[https_mvnrepository.com_artifact_mysql_mysql-connector-java_5.1.47]: https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.47
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzE2Mjcy_size_16_color_FFFFFF_t_70 1]: /images/20220318/b84043dca8fb403cad0e7caf931e517f.png
[20190220112942490.png]: /images/20220318/04e2d2922e8e497f9d42f404465c4ca7.png
[20190220113232925.png]: /images/20220318/d54d1d32212946fb92ad0d03242fbae0.png
[20190220144416393.png]: /images/20220318/5d52fef84a1446638d2e98b263637d4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzE2Mjcy_size_16_color_FFFFFF_t_70 2]: /images/20220318/26af7a1f749e45769b154920941e5934.png