使用logstash同步mysql数据到elasticsearch

悠悠 2023-07-24 05:40 29阅读 0赞

在config下新建mysql.conf文件

input{
        jdbc{
            # jdbc驱动包位置
            jdbc_driver_library => "D:\\CodeProgramFiles\\logstash-6.3.2\\mysql-connector-java-5.1.31.jar"
            # 要使用的驱动包类
            jdbc_driver_class => "com.mysql.jdbc.Driver"
            # mysql数据库的连接信息
            jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog"
            # mysql用户
            jdbc_user => "root"
            # mysql密码
            jdbc_password => "yys981030"
            # 定时任务，多久执行一次查询，默认一分钟，如果想要没有延迟，可以使用 schedule => "* * * * * *"
            schedule => "* * * * *"
            # 清空上传的sql_last_value记录
            clean_run => true
            # 你要执行的语句
            statement => "select * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
        }
    }
    
    output {
        elasticsearch{
            # es host : port
            hosts => ["127.0.0.1:9200"]
            # 索引
            index => "blog"
            # _id
            document_id => "%{id}"
        }
    }

然后再bin下运行

./logstash -f ../config/mysql.conf

打开kibana, 查看同步结果

get /blog

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTg3MjM0MQ_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTg3MjM0MQ_size_16_color_FFFFFF_t_70]: /images/20230528/8438515ecce24a8f8de105a99999dffe.png