使用logstash同步mysql数据库信息到ElasticSearch

- 日理万妓 2022-10-01 05:52 204阅读 0赞

> 本文介绍如何使用logstash同步mysql数据库信息到ElasticSearch.

## 1.准备工作 ##

### 1.1 安装JDK ###

网上文章比较多，可以参考：[https://www.dalaoyang.cn/article/16][https_www.dalaoyang.cn_article_16]。

### 1.2 安装Logstash ###

我使用了5.x版本和6.x版本，可以参考：[https://www.dalaoyang.cn/article/80][https_www.dalaoyang.cn_article_80]。

**7.x版本未尝试！！！**

### 1.3 安装ruby ###

安装过程可以参考：[https://blog.csdn.net/qq\_26440803/article/details/82717244][https_blog.csdn.net_qq_26440803_article_details_82717244]，已经非常详细了。

### 1.4 安装gem ###

安装

yum install gem

gem源修改

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/

### 1.5 修改logstash中的Gemfile和Gemfile.jruby-1.9.lock文件 ###

![1.jpg][]

修改上图中Gemfile文件红框位置为

source "https://gems.ruby-china.com/"

![2.png][]

修改上图中Gemfile.jruby-1.9.lock文件(**其他版本logstash可能不叫这个名字，但是名字类似**)红框位置为

remote: https://gems.ruby-china.com/

### 1.6 安装bundler ###

安装

gem install bundler

### 1.7 安装logstash-input-jdbc插件 ###

安装

bin/logstash-plugin  install logstash-input-jdbc

### 1.8 准备mysql-connector-java-x.x.x.jar ###

需要准备一个mysql-connector-java-x.x.x.jar对应版本的jar，这里使用的是mysql-connector-java-5.1.6.jar。

这个可以去官网下载：[https://dev.mysql.com/downloads/connector/j/5.1.html][https_dev.mysql.com_downloads_connector_j_5.1.html]

## 2.配置logstash ##

创建mysql-es.conf配置文件，名称可以自定，这里数据表以我博客友情链接表为例，内容如下：

input {
      jdbc {
        # 驱动包位置
        jdbc_driver_library => "/usr/local/logstash/logstash-5.6.16/mysql-connector-java-5.1.6.jar"
        # 驱动
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 数据库地址
        jdbc_connection_string => "jdbc:mysql://ip:3306/dalaoyang"
        # 数据库连接用户名
        jdbc_user => "root"
        # 数据库连接用户密码
        jdbc_password => "password"
        # 执行sql语句文件位置
        # statement_filepath => "filename.sql"
        # 执行sql
        statement => "SELECT * from link_info"
        # 是否分页
        jdbc_paging_enabled => "true"
        # 分页数量
        jdbc_page_size => "50000"
        type => "jdbc"
        tracking_column => "update_date"
        use_column_value => false
        # 执行任务时间间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
        schedule => "* * * * *"
      }
    }
     
     
    output {
      elasticsearch {
            hosts => "ip:端口"
            index => "test-mysql"
            # 数据库中的id
            document_id => "%{link_id}"
      }
    }

## 3.启动logstash ##

执行命令启动

bin/logstash  -f mysql-es.conf

启动后可以看到如图所示

![3.jpg][]

## 4.查看ElasticSearch ##

在ElasticSearch-head中可以看到对应mysql中的数据，如图

![4.jpg][]

## 5.总结 ##

总的来说过程还是很简单的，没有遇到太大的问题，这只是mysql同步es的一种方式，还有很多方式可以使用。

[https_www.dalaoyang.cn_article_16]: https://www.dalaoyang.cn/article/16
[https_www.dalaoyang.cn_article_80]: https://www.dalaoyang.cn/article/80
[https_blog.csdn.net_qq_26440803_article_details_82717244]: https://blog.csdn.net/qq_26440803/article/details/82717244
[1.jpg]: /images/20220119/2ee2a204639f48909b2765419f561cba.png
[2.png]: /images/20220119/602da29374524405b3c07f3656232e02.png
[https_dev.mysql.com_downloads_connector_j_5.1.html]: https://dev.mysql.com/downloads/connector/j/5.1.html
[3.jpg]: /images/20220119/384ded7c41e44eaab4e8fc9b2a878f52.png
[4.jpg]: /images/20220119/796d91994b114c70b102111704e5b29d.png