通过logstash将数据导入mysql

逃离我推掉我的手 2022-03-21 12:49 711阅读 0赞

**1.确保已经安装logstash**  
其实解压安装包就行

**2.安装logstash-output-jdbc插件**  
在线安装:  
bin/logstash-plugin install logstash-output-jdbc  
离线安装:  
[logstash离线安装logstash-output-jdbc][logstash_logstash-output-jdbc]

**3.再装JDBC插件依赖，mysql-connector-java-5.1.47.zip**  
解压mysql-connector-java-5.1.47.zip  
在logstash目录中创建必要目录  
mkdir ./vender/jar/jdbc  
然后将mysql-connector-java-5.1.47-bin.jar文件放入该目录

**4.创建logstash.conf**

input 
    {
    	stdin
    	{
    		codec => json
    	}
    }
    
    output
    {
    	jdbc
    	{
    		driver_jar_path => "/home/logstash-6.5.4/vendor/jar/jdbc/mysql-connector-java-5.1.47-bin.jar"
    		driver_class => "com.mysql.jdbc.Driver"
    		connection_string => "jdbc:mysql://10.43.212.46:3306/logstash?user=root&password=root"
    		statement => [ "INSERT INTO test (name,age) VALUES(?,?)", "name","age"]
    	}
    }

**小贴士:**  
**1.有可能你的输入数据json嵌套好多层，不能直接导入mysql,需要对json进行解析，可以参考**  
[logstash解析嵌套json格式数据][logstash_json]  
**2.对配置文件conf敏感信息进行隐藏加密**  
[logstash 对配置文件conf敏感信息，密码等加密][logstash _conf]

[logstash_logstash-output-jdbc]: https://blog.csdn.net/u011311291/article/details/86743602
[logstash_json]: https://blog.csdn.net/u011311291/article/details/86743642
[logstash _conf]: https://blog.csdn.net/u011311291/article/details/87104685

发表评论取消回复

表情：

评论列表（有 0 条评论，711人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Logstash将MySQL数据同步到Elasticsearch

附：[logstash官网下载地址][logstash] 1.准备环境 jdk8;Logstash\-7.4.2;Elasticsearch-7.4.2. ![202

男娘i/ 2023年07月13日 03:49/ 0 赞/ 144 阅读

相关 Logstash安装及数据导入

一、安装前准备 1）下载与ES相同版本号的logstash，（7.1.0），并解压到相应目录官网下载地址：https://www.elastic.co/cn/dow

客官°小女子只卖身不卖艺/ 2023年07月04日 06:11/ 0 赞/ 25 阅读

相关使用Logstash将Mysql数据同步到Elasticsearch

使用logstash将mysql数据导入到elasticsearch过程： 1 安装elasticsearch 网址：[https://www.elastic.co/down

小咪咪/ 2023年06月23日 17:55/ 0 赞/ 181 阅读

相关 Logstash导入数据

开发中, 更多的是从现有数据库中导入数据 Django中 python manage.py rebuild\_index 就是在导入数据方式

电玩女神/ 2023年06月03日 02:47/ 0 赞/ 27 阅读

相关 Logstash 将ES数据导入数据库

Logstash 将ES数据导入数据库 Logstash 7.2.0 1、logstash-output-jdbc安装 2、问题梳理 3、conf文件 1、lo

野性酷女/ 2023年05月30日 08:45/ 0 赞/ 21 阅读

相关 Hbase通过命令将数据批量导入的方法

Hbase通过命令将数据批量导入的方法 ![original.png][] [小强签名设计][Link 1] 2017-12-12 13:36:34 ![article

忘是亡心i/ 2023年02月10日 05:29/ 0 赞/ 10 阅读

相关通过logstash将关系型数据库数据同步到ES

input { 多张表的同步只需要设置多个jdbc的模块就行了 jdbc { mysql 数据库链接,shop为数据库名

野性酷女/ 2022年11月22日 00:01/ 0 赞/ 197 阅读

相关通过logstash将数据导入mysql

1.确保已经安装logstash 其实解压安装包就行 2.安装logstash-output-jdbc插件在线安装: bin/logstash-plugin i

逃离我推掉我的手/ 2022年03月21日 12:49/ 0 赞/ 712 阅读

相关 elasticsearch学习笔记之四（使用logstash导入mysql数据）

> 本文介绍elasticsearch的从mysql导入数据文章目录 0. 数据准备 1. 下载并安装logstash

淡淡的烟草味﹌/ 2022年03月18日 01:38/ 0 赞/ 243 阅读

相关 sqoop将hive数据导入mysql

1.解压 tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量，编辑/etc/profile文件，添...

朱雀/ 2020年10月24日 16:26/ 0 赞/ 930 阅读