大数据环境（CDH）在不同集群间的数据迁移

素颜马尾好姑娘i 2023-05-30 10:58 13阅读 0赞

### 1.hadoop目录查询指令 ###

hadoop集群中使用了hdfs作为文件存储方式  
hadoop fs –ls /user/hive/warehouse

### 2.hadoop数据迁移指令 ###

hadoop distcp hdfs://nn1:8020/user/hive/warehouse/foo hdfs://nn2:8020/user/hive/warehouse  
nn1是数据源的ip或集群中的命名，nn2是迁移到的目标ip。  
foo是hdfs存放元数据的根目录，同时也是impala表的表名（下面会提到）。迁移的时候目录会从nn1的集群复制迁移到nn2的warehouse目录下。

迁移完成后，通过1的指令查看目标底下是否存在目录和数据，验证数据迁移是否成功。

### 3.创建impala数据表结构 ###

集群使用impala作为hdfs的大数据查询工具。Impala按照SQL的标准来进行数据库表搜索。

#### （1） 首先在nn1上找到建表语句 ####

impala-shell 指令进入到impala的命令行  
use default； 使用default数据库  
show create table foo; 查看元数据的表结构

#### （2） 在nn2上创建同样的表结构 ####

复制nn1的表结构，在nn2上创建。之后，验证源数据和目标数据是否一致，确保数据的完整性,迁移完成。使用以下impala语句。  
select count(\*) from foo;  
select \* from foo limit 10;

### 4. 迁移过程中遇到的问题 ###

#### （1）内存占用过大，迁移工作卡顿 ####

频繁的多开迁移数据会造成服务器压力过大。且迁移过程中占用的内存在迁移任务结束后也不会释放。影响迁移效率。  
因此需要频繁的清空服务器集群中缓存，指令如下。  
sync  
echo 3 > /proc/sys/vm/drop\_caches

#### (2)cdh版本不同 ####

nn1的集群和nn2的集群所安装的cdh的版本是不一样的。  
这个问题主要出现在数据量超过千万的表迁移的时候，需要在迁移的时候加如下2个参数，以及nn2下新增的目录foo。  
hadoop distcp –skipcrccheck -update hdfs://nn1:8020/user/hive/warehouse/foo hdfs://nn2:8020/user/hive/warehouse/foo

#### (3)十亿条以上记录的表迁移失败 ####

解决方法使用通配符\*进行分批迁移，视情况分多少批。  
如test\_table表内有21e数据，表内是按照day进行分区

第一次将数据分成18年和19年2部分进行迁移，失败了。  
hadoop distcp  
hdfs://nn1:8020/user/hive/warehouse/test\_table/day=2018\*  
hdfs://nn2:8020/user/hive/warehouse/test\_table

第二次将数据按照月份进行迁移，部分成功。  
hadoop distcp  
hdfs://nn1:8020/user/hive/warehouse/test\_table/day=201801\*  
hdfs://nn2:8020/user/hive/warehouse/test\_table

### 5.可能提升迁移效率的方法 ###

清空垃圾回收站，在hadoop集群中迁移失败而删除的文件都会保存在.Trash目录中。方便找回，占用资源。通过以下指令进行删除。  
hadoop fs -rmr .Trash