elk之使用logstash同步mysql数据到elasticsearch(aws es)

- 日理万妓 2022-01-15 23:45 291阅读 0赞

./bin/logstash-plugin install logstash-output-amazon\_es

./bin/logstash-plugin install logstash-input-jdbc

tar -zxvf mysql-connector-java-8.0.16.tar.gz

mysql.conf   
input \{  
  jdbc \{  
    jdbc\_driver\_library => "/home/elk/mysql-connector-java-8.0.16.jar"  
    jdbc\_driver\_class => "com.mysql.jdbc.Driver"  
    jdbc\_connection\_string => "jdbc:mysql://192.168.3.92:3306/plus"  
jdbc\_default\_timezone => "UTC"  
    jdbc\_user => "root"  
    jdbc\_password => "111111"  
    schedule => "\* \* \* \* \*"  
use\_column\_value => true  
    statement => "SELECT \* from tablename where updated\_at>=:sql\_last\_value"  
    tracking\_column => "updated\_at"  
    tracking\_column\_type => "timestamp"  
    jdbc\_fetch\_size => 10  
    type => "sns\_feeds"  
  \}  
\}  
filter \{  
    mutate \{  
        remove\_field => \[ "@timestamp" \]  
    \}  
\}  
output\{  
    stdout \{ \}  
    elasticsearch \{  
        hosts => "https://aws\_domain:443"  
    index => "%\{type\}"  
document\_id => "%\{id\}"  
        ssl => true  
    \}  
\}

发表评论取消回复

表情：

评论列表（有 0 条评论，291人围观）

还没有评论，来说两句吧...

相关阅读

相关使用logstash同步mysql数据到elasticsearch

在config下新建mysql.conf文件 input{ jdbc{ jdbc驱动包位置 jdbc

悠悠/ 2023年07月24日 05:40/ 0 赞/ 30 阅读

相关使用Logstash将MySQL数据同步到Elasticsearch

附：[logstash官网下载地址][logstash] 1.准备环境 jdk8;Logstash\-7.4.2;Elasticsearch-7.4.2. ![202

男娘i/ 2023年07月13日 03:49/ 0 赞/ 143 阅读

相关使用Logstash将Mysql数据同步到Elasticsearch

使用logstash将mysql数据导入到elasticsearch过程： 1 安装elasticsearch 网址：[https://www.elastic.co/down

小咪咪/ 2023年06月23日 17:55/ 0 赞/ 180 阅读

相关 ELK之logstash定时同步

秒级同步：2秒同步一次 schedule => " \/2 \ \ \ \ " 分钟级同步：2分钟同步一次 schedule => " 0/2 \ \ \ \ "

短命女/ 2023年06月06日 03:51/ 0 赞/ 8 阅读

相关 logstash-input-jdbc 同步mysql数据到es

场景在某些搜索类的项目中，经常需要同步mysql的数据到es，方便及时打通两边的数据满足业务上对于数据搜索的需求，通常情况下，可以考虑两种数据同步方案，全量同步或增量同

我会带着你远行/ 2023年05月28日 15:55/ 0 赞/ 21 阅读

相关 ELK logstash 同步mysql oracle数据到es中 logstash 的安装和配置

之前记录了 ElasticSearch 的安装配置 [点击直达][Link 1] ，接下来我们使用 logstash 同步mysql 或者 oracle 数据到

蔚落/ 2023年02月26日 06:22/ 0 赞/ 56 阅读

相关使用logstash-6.5.4同步mysql 数据到ES里面

1.ES的全套下载地址 : [https://download.csdn.net/download/zhangshengqiang168/13452585][https_dow

约定不等于承诺〃/ 2022年12月26日 10:19/ 0 赞/ 170 阅读

相关 elk之使用logstash同步mysql数据到elasticsearch(aws es)

./bin/logstash-plugin install logstash-output-amazon\_es ./bin/logstash-plugin install

- 日理万妓/ 2022年01月15日 23:45/ 0 赞/ 292 阅读

相关 Logstash配置同步mysql到es配置

关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎，具有实时管道功能

一时失言乱红尘/ 2021年10月23日 19:14/ 0 赞/ 439 阅读

相关 Logstash多表同步MySQL数据到ES

1、Logstash下载前往官网下载logstash，下载地址[https://www.elastic.co/downloads/logstash][https_www

柔情只为你懂/ 2021年10月19日 01:34/ 0 赞/ 550 阅读