如何备份ElasticSearch索引数据到HDFS上

阳光穿透心脏的1/2处 2022-12-08 05:49 157阅读 0赞

在ElasticSearch里面备份策略已经比较成熟了

目前在ES5.x中备份支持的存储方式有如下几种：

1.  `fs //本地挂载的盘`
2.  `url //网络协议存储支持http,https,ftp`
3.  `repository-s3 //亚马逊`
4.  `repository-hdfs //HDFS`
5.  `repository-azure //微软`
6.  `repository-gcs //google`

在这里我们主要介绍如何备份索引数据到HDFS上。

首先，我们先从名词概念上理解下备份相关术语：

（1）Repositories （仓库）

在一个es集群内，想要备份数据，首先要创建一个仓库，用来存储快照，一个集群可以创建多个仓库。

（2）Snapshot （快照）

有了仓库之后，我们就可以创建快照了，创建快照时，必须要选择一个指定的仓库才能创建。每个快照里面可以包含多个索引，默认的话是备份整个集群的索引。当然我们也可以指定备份我们认为重要的索引的数据。

（3）Restore （恢复）

备份完成之后数据也就是快照的还原称为恢复

ok，理解了上面三个概念之后，下面我们看下具体怎么操作，本次主要介绍 主要涉及两个ES版本：

ElasticSearch2.3.4

ElasticSearch5.6.4

（一）在ElasticSearch2.x中如何备份索引数据

（1）在每台节点上安装repository-hdfs插件

bin/plugin install elasticsearch/elasticsearch-repository-hdfs/2.2.0

（2）修改每台节点上的config/elasticsearch.yml文件，添加下面的属性

security.manager.enabled: false

（3）重启整个集群

（4）构建一个仓库

1.  `PUT /_snapshot/my_backup`
2.  `{`
3.  `"type": "hdfs",`
4.  `"settings": {`
5.  `"path": "/back/es/",`
6.  `"load_defaults": "true",`
7.  `"compress": "true",`
8.  `"uri": "hdfs://192.168.10.160:8020"`
9.  `}`
10. `}`

查看仓库信息：

1.  `//查看指定的仓库`
2.  `GET /_snapshot/my_backup`
3.   
4.  `//下面当前所有的仓库信息s`
5.  `GET /_snapshot`
6.  `GET /_snapshot/_all`
7.

删除一个仓库:

DELETE /_snapshot/my_backup

注意删除之后，只是ES里面的引用删除，HDFS上备份的文件是不会删除的

（5）构建一个快照

1.  `PUT /_snapshot/my_backup/snapshot_1?wait_for_completion=true`
2.  `{`
3.  `"indices": "index_1,index_2",//注意不设置这个属性，默认是备份所有`
4.  `"ignore_unavailable": true,`
5.  `"include_global_state": false`
6.  `}`

查询快照的几个方式：

1.  `GET /_snapshot/my_backup/snapshot_1 //查询指定快照`
2.  `GET /_snapshot/my_backup/snapshot_*,some_other_snapshot //支持通配符查询`
3.  `GET /_snapshot/my_backup/_all //查询所有的快照`
4.

删除一个快照：

DELETE /_snapshot/my_backup/snapshot_1

注意删除之后，只是ES里面的引用删除，HDFS上备份的文件是不会删除的

（6）恢复快照

1.  `POST /_snapshot/my_backup/snapshot_1/_restore`
2.  `{`
3.  `"indices": "index_1,index_2", //指定索引恢复，不指定就是所有`
4.  `"ignore_unavailable": true,//忽略恢复时异常索引`
5.  `"include_global_state": false,//是否存储全局转态信息,fasle代表有一个或几个失败，不会导致整个任务失败`
6.  `"rename_pattern": "index_(.+)",//是否需要重命名索引`
7.  `"rename_replacement": "restored_index_$1"//替换后的索引名`
8.  `}`

（二）在ElasticSearch5.x中如何备份索引数据

ElasticSearch5.x的备份方法和ElasticSearch2.x大同小异，这里仅介绍他们不同的地方。

首先es5要求必须是JDK8的版本，如果你的系统有多个jdk的版本，而且你不想改变现有的jdk版本，那么你就要，单独在下面的两个脚本中声明JDK：

1.  `vi bin/elasticsearch`
2.  `vi bin/elasticsearch-plugin`

里面分别添加下面的jdk指定版本：

1.  `export JAVA_HOME=/usr/java/jdk1.8.0_91`
2.  `export PATH=$JAVA_HOME/bin:$PATH`

然后在每台节点上安装备份的插件：

bin/elasticsearch-plugin install repository-hdfs

完事之后，直接重启集群即可，注意ElasticSearch5.x不需要再修改elasticsearch.yml文件。

用法和Elasticsearch2.x是一样的，这里不再重述。

最后再补充一下：

es1.x的备份的索引是可以直接在es2.x中恢复的