distcp跨集群拷贝文件失败Source and target differ in block-size. Use -pb to preserve block-sizes during copy.

朱雀 2024-03-22 20:43 41阅读 0赞

Caused by: java.io.IOException: Checksum mismatch between hdfs://10.48.0.101/ucd-prod-vdp-usdp/user/hive/warehouse/ods.db/ods\_dgs\_dcs\_tth\_if\_di/dt=20230716/000001\_0 and hdfs://ucd-test-vdp-usdp/ucd-test-vdp-usdp/user/hive/warehouse/ods\_prod.db/.distcp.tmp.attempt\_1689578105872\_1498\_m\_000017\_2.1690257654635. Source and target differ in block-size.  
Use -pb to preserve block-sizes during copy. You can choose file-level checksum validation via -Ddfs.checksum.combine.mode=COMPOSITE\_CRC when block-sizes or filesystems are different. Or you can skip checksum-checks altogether with -skipcrccheck.

![在这里插入图片描述][6c801c7c859d43a8bff247f55580c664.png]

distcp命令是常用的大数据集群间的数据拷贝命令，有时候会因为不同集群间的block块大小不一致导致命令执行失败。报错如下

Source and target differ in block-size. Use -pb to preserve block-sizes during copy  
1  
原因分析  
distcp默认拷贝文件时不记录原block大小导致在原文件block.size不是128M时校验失败，需要在distcp命令增加-pb参数。  
1.HDFS在写的时候有设置块大小，默认128M，某些组件或者业务程序写入的文件可能不是128M，如8M。

<name>dfs.blocksize</name>
    <value>134217728</value>

图1 某些组件或者业务程序写入的文件大小
    
    2.distcp 从源集群读文件后写入新集群，默认是使用的MapReduce任务中的dfs.blocksize，默认128M。
    3.在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中block.size不一致，因此拆分大小不一致，导致校验失败。
    如以上文件，在旧集群是17.9/8MB = 3个block， 在新集群 17.9/128M = 1个block. 因此实际在磁盘的物理大小因分割而导致校验失败。
    
    解决办法
    distcp时，在地址前增加-pb参数。该参数作用为distcp时候保留block大小，确保新集群写入文件blocksize和老集群一致。
    distcp时保留block大小

[6c801c7c859d43a8bff247f55580c664.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/c8091ebfd04f468ba7440014ace48815.png