logstash-es数据搬迁到es上

r囧r小猫 2022-10-13 01:52 251阅读 0赞

input {
        stdin{
        }
        elasticsearch {
    	    type => "type类型和output的type类型保持一致"
            hosts => ["http://es输入数据ip:es输入数据端口"]
            user => "用户名"
            index => "es上的索引"
            password => "密码"       
    		#设置为true，将会提取ES文档的元数据信息，例如index、type和id。
            docinfo => true
        }
    
    }
    
    output {
    	
    	if [type]=="customer_data_py" {
    		elasticsearch {
    			hosts => ["http://es目标数据ip:es目标数据端口"]
    			user => 用户名
    			password => 密码        
    			#指定同步索引名。input中设置为*，表示同步全部索引;
    			#output中设置为%{[@metadata][_index]}，表示匹配元数据中的index，即迁移前后两台服务器ES的索引相同。
    			index => "%{[@metadata][_index]}"       
    			
    			#设置为%{[@metadata][_type]}，
    			#表示匹配元数据中索引的type，即迁移前后ES服务器的索引类型相同。
    			document_type => "%{[@metadata][_type]}"      
    			#设置为%{[@metadata][_id]}，
    			#表示匹配元数据中文档的id，即迁移前后ES服务器的文档id相同。
    			document_id => "%{[@metadata][_id]}"
    		}
    	}
    
        stdout {
            codec => json_lines
        }
        
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，251人围观）

还没有评论，来说两句吧...

相关阅读

相关 Logstash 将ES数据导入数据库

Logstash 将ES数据导入数据库 Logstash 7.2.0 1、logstash-output-jdbc安装 2、问题梳理 3、conf文件 1、lo

野性酷女/ 2023年05月30日 08:45/ 0 赞/ 21 阅读

相关 logstash-input-jdbc 同步mysql数据到es

场景在某些搜索类的项目中，经常需要同步mysql的数据到es，方便及时打通两边的数据满足业务上对于数据搜索的需求，通常情况下，可以考虑两种数据同步方案，全量同步或增量同

我会带着你远行/ 2023年05月28日 15:55/ 0 赞/ 22 阅读

相关 ELK logstash 同步mysql oracle数据到es中 logstash 的安装和配置

之前记录了 ElasticSearch 的安装配置 [点击直达][Link 1] ，接下来我们使用 logstash 同步mysql 或者 oracle 数据到

蔚落/ 2023年02月26日 06:22/ 0 赞/ 57 阅读

相关使用logstash迁移es数据

> 推荐阅读 > > Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_

r囧r小猫/ 2023年01月19日 11:57/ 0 赞/ 25 阅读

相关使用logstash-6.5.4同步mysql 数据到ES里面

1.ES的全套下载地址 : [https://download.csdn.net/download/zhangshengqiang168/13452585][https_dow

约定不等于承诺〃/ 2022年12月26日 10:19/ 0 赞/ 171 阅读

相关通过logstash将关系型数据库数据同步到ES

input { 多张表的同步只需要设置多个jdbc的模块就行了 jdbc { mysql 数据库链接,shop为数据库名

野性酷女/ 2022年11月22日 00:01/ 0 赞/ 197 阅读

相关 logstash-es数据搬迁到es上

input { stdin{ } elasticsearch { type => "type类型和ou

r囧r小猫/ 2022年10月13日 01:52/ 0 赞/ 252 阅读

相关 elk之使用logstash同步mysql数据到elasticsearch(aws es)

./bin/logstash-plugin install logstash-output-amazon\_es ./bin/logstash-plugin install

- 日理万妓/ 2022年01月15日 23:45/ 0 赞/ 292 阅读

相关 Logstash配置同步mysql到es配置

关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎，具有实时管道功能

一时失言乱红尘/ 2021年10月23日 19:14/ 0 赞/ 440 阅读

相关 Logstash多表同步MySQL数据到ES

1、Logstash下载前往官网下载logstash，下载地址[https://www.elastic.co/downloads/logstash][https_www

柔情只为你懂/ 2021年10月19日 01:34/ 0 赞/ 551 阅读