Elasticsearch学习笔记(二) mysql数据同步

柔情只为你懂 2022-06-07 12:10 270阅读 0赞

安装好了elasticsearch，但是没有数据是不行的，下面将介绍如何同步mysql数据到elasticsearch:

同步mysql数据到elasticsearch，我们使用同步插件go-mysql-elasticsearch:

go-mysql-elasticsearch插件环境：

1 .安装mysql：请查看另一篇博客（http://blog.csdn.net/qq\_34246546/article/details/78520137）

(注意若在安装过程中缺少my-default.cnf文件，请到网上下载一份，改动其中的路径。)

2.安装go语言环境：

## 步骤1：安装go ##

从官网下载二进制包如\*go1.6.linux-amd64.tar.gz\*

解压到/usr/local目录下

在配置文件 /etc/profile 中添加：

export GOPATH=/usr/local/go  
  export GOROOT=/usr/local/go/bin  
  export PATH=$GOPATH/bin:$PATH

## 步骤2：获取go-mysql-elastisearch插件（可能遇到下载不完整的情况） ##

go get github.com/siddontang/go-mysql-elasticsearch

## 步骤3：安装go-mysql-elastisearch插件 ##

cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch

make

## 步骤4: 修改配置文件：/usr/local/go/src/github.com/siddontang/go-mysql-elasticsearch/etc  ##

river.toml 中的mysql数据库信息

## 步骤4:执行同步操作： ##

cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch

./bin/go-mysql-elasticsearch -config=./etc/river.toml

ok 现在我们就可以看到elasticsearch中同步到的数据。

对数据库的增删改都会影响到elasticsearch的数据

同步过程遇到的无法同步的情况（可能的解决方法如下）：

1.Elasticsearch 环境下没有安装mysqldump 环境（安装mysql即可）

2.要同步的mysql数据库的日志类型未设置为ROW Format（修改etc下的mysql配置文件my.cnf）

log-bin=mysql-bin

binlog_format="ROW"

或者mysql命令行下：

mysql> SET SESSION binlog_format = 'ROW';  
       mysql> SET GLOBAL binlog_format = 'ROW';

3.出现

[2017/11/13 19:49:59] canal.go:146 [Error] canal start sync binlog err: ERROR 1236 (HY000): Could not find first log file name in binary log index file

错误

在目录 /usr/local/go/src/github.com/siddontang/go-mysql-elasticsearch/etc  目录下找到 river.toml 文件，搜索关键字data_dir = =    找到指定的目录，将下面的

文件删除即可

发表评论取消回复

表情：

评论列表（有 0 条评论，270人围观）

还没有评论，来说两句吧...

相关阅读

相关 Mysql 数据同步到 Elasticsearch

阅读目录说明 1 同步原理 2 插件 logstash-input-jdbc go-mysql-elasticsearch

梦里梦外;/ 2023年10月06日 20:17/ 0 赞/ 53 阅读

相关 elasticsearch与mysql数据同步

目录数据同步一.思路分析 1.同步调用 2.异步通知 3.监听binlog

忘是亡心i/ 2023年09月25日 18:22/ 0 赞/ 72 阅读

相关 elasticsearch使用river同步mysql数据

====== mysql的river介绍====== - 什么是river？river代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方

布满荆棘的人生/ 2022年07月14日 10:23/ 0 赞/ 217 阅读

相关 Elasticsearch学习笔记（二）Elasticsearch入门

文章目录 Elasticsearch系列文章目录 elasticsearch术语简介索引 \\倒排索引\\ 文

男娘i/ 2022年07月11日 11:21/ 0 赞/ 550 阅读

相关 Elasticsearch学习笔记(三) mongodb数据同步

使用 elasticsearch-river-mongodb插件同步mongodb 数据。 1、安装 elasticsearch-river-mongodb

桃扇骨/ 2022年06月07日 13:57/ 0 赞/ 254 阅读

相关 Elasticsearch学习笔记(二) mysql数据同步

安装好了elasticsearch，但是没有数据是不行的，下面将介绍如何同步mysql数据到elasticsearch: 同步mysql数据到elasticsearch，我们

柔情只为你懂/ 2022年06月07日 12:10/ 0 赞/ 271 阅读

相关 ElasticSearch + logstash (logstash-input-jdbc) + mysql 同步数据（二）

> ElasticSearch + logstash (logstash-input-jdbc) + mysql 同步数据（二）应对上篇 elasticsearch

秒速五厘米/ 2022年05月19日 03:20/ 0 赞/ 322 阅读

相关 Elasticsearch增量同步Mysql数据

首先安装Elasticsearch，参考[https://blog.csdn.net/letterss/article/details/91361205][https_blog

电玩女神/ 2021年11月23日 08:54/ 0 赞/ 409 阅读

相关 elasticsearch与MySQL数据同步

1:Logstash 1.1:什么是Logstash Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传

逃离我推掉我的手/ 2021年11月09日 08:22/ 0 赞/ 418 阅读

相关 Logstash 同步mysql数据到ElasticSearch

1.解压Logstash 2.在logstash根目录新建custom文件夹，用于自定义的一些配置文件，如下图 ![watermark_type_ZmFuZ3poZW5na

痛定思痛。/ 2021年11月05日 23:22/ 0 赞/ 430 阅读