【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传

一时失言乱红尘 2023-10-13 21:42 22阅读 0赞

#### 文章目录 ####

*  需求
 *  批量下载
 *   *  代码
     *  效果
 *  批量上传
 *   *  代码
     *  效果

## 需求 ##

需要批量下载一个bucket下的内容，bucket下文件有19GB+，且文件夹结构复杂，使用官方的Console无法完成这么大量文件的下载，而且也不支持文件夹的分享，所以自己写个工具下载，顺便把上传的也写了。

![2c9756cd989190f607c8eec492dcf3ae.png][]

使用官方的打包下载，由于文件太多，一直转，而且session一失效，或者刷新页面，就得重来！

![28659cf736c3d17ba451364c15481752.png][]

所以官方这个下载，只适合少量文件的打包下载。

## 批量下载 ##

### 代码 ###

核心逻辑就是递归，遇到文件夹就继续找文件，遇到文件就下载。

package cn.xdf.xadd.rmq.test;
    
    import io.minio.GetObjectArgs;
    import io.minio.ListObjectsArgs;
    import io.minio.MinioClient;
    import io.minio.Result;
    import io.minio.messages.Item;
    import org.apache.commons.io.FileUtils;
    
    import java.io.File;
    import java.io.InputStream;
    
    /**
     * 批量下载工具
     *
     * @author zhurunhua
     * @date 2023/06/16 3:28 下午
     */
    public class BatchDownloadUtil {
        
    
        private static final String ENDPOINT = "http://minio:80";
        private static final String ACCESS_KEY = "ak";
        private static final String SECRET_KEY = "sk";
        private static final String BUCKET_NAME = "milvus-t-backup-all";
        private static final String ROOT_PATH = "files/tiku_backup/";
        private static final String LOCAL_DIR = "/Users/xdf/Downloads";
    
        static MinioClient minioClient = MinioClient.builder().endpoint(ENDPOINT).credentials(ACCESS_KEY, SECRET_KEY).build();
    
        public static void main(String[] args) throws Exception {
        
            ListObjectsArgs listObjectsArgs = ListObjectsArgs.builder().bucket(BUCKET_NAME).prefix(ROOT_PATH).build();
            findAndSaveFile(listObjectsArgs);
        }
    
        private static void findAndSaveFile(ListObjectsArgs listObjectsArgs) throws Exception {
        
            // List all objects in the bucket
            Iterable<Result<Item>> results = minioClient.listObjects(listObjectsArgs);
            for (Result<Item> result : results) {
        
                Item item = result.get();
                if (item.isDir()) {
        
                    System.out.println("文件夹：" + item.objectName());
                    ListObjectsArgs args = ListObjectsArgs.builder().bucket(BUCKET_NAME).prefix(item.objectName()).build();
                    findAndSaveFile(args);
                } else {
        
                    GetObjectArgs getObjectArgs = GetObjectArgs.builder().bucket(BUCKET_NAME).object(item.objectName()).build();
                    String objectName = item.objectName();
                    // Create a local file with the same name as the object
                    File file = new File(LOCAL_DIR + File.separator + objectName);
                    // Create parent directories if needed
                    file.getParentFile().mkdirs();
                    // Get the object as an input stream
                    try (InputStream stream = minioClient.getObject(getObjectArgs)) {
        
                        // Copy the input stream to the file
                        FileUtils.copyInputStreamToFile(stream, file);
                    }
                    System.out.printf("文件：%s 下载成功！\n", item.objectName());
                }
            }
        }
    }

### 效果 ###

![c6997d9583c6b6c250af5f7a59d4bdc8.png][]

## 批量上传 ##

### 代码 ###

package cn.xdf.xadd.rmq.test;
    
    import io.minio.MinioClient;
    import io.minio.UploadObjectArgs;
    
    import java.io.File;
    
    /**
     * @author zhurunhua
     * @since 2023/06/16 3:31 下午
     */
    public class BatchUploadUtil {
        
    
        private static final String ENDPOINT = "http://minio:80";
        private static final String ACCESS_KEY = "ak";
        private static final String SECRET_KEY = "sk";
        private static final String BUCKET_NAME = "milvus-chatglm";
        private static final String PARENT_PATH = "/Users/xdf/Desktop/Temp/";
        private static final String FILE_PATH = "audio";
        private static final String IGNORE_FILE = ".DS_Store";
    
        static MinioClient minioClient = MinioClient.builder().endpoint(ENDPOINT).credentials(ACCESS_KEY, SECRET_KEY).build();
    
        public static void main(String[] args) throws Exception {
        
            // 创建一个 File 对象，指定要遍历的目录的路径
            File dir = new File(PARENT_PATH + FILE_PATH);
            listFileAndUpload(dir);
        }
    
        public static void listFileAndUpload(File dir) throws Exception {
        
            // 调用 listFiles 方法获取该目录中的所有文件
            File[] files = dir.listFiles();
            // 遍历文件数组
            for (File file : files) {
        
                // 判断是否为文件，如果是就打印出绝对路径
                if (file.isFile()) {
        
                    if (!file.getName().equals(IGNORE_FILE)) {
        
                        uploadFile(file.getAbsolutePath());
                        System.out.printf("文件：%s 上传完成！\n", file.getAbsolutePath());
                    }
                } else {
        
                    System.out.println("文件夹：" + file.getAbsolutePath());
                    // 如果是目录，就递归调用 listFiles 方法，继续遍历子目录
                    listFileAndUpload(file);
                }
            }
        }
    
        /**
         * eg.
         * 本地文件路径：/Users/xdf/Downloads/files/tiku_backup/meta/partition_meta.json
         * 上传后：/bucket_name/files/tiku_backup/meta/partition_meta.json
         * 即把本地文件前缀去掉，保留指定目录
         */
        private static void uploadFile(String filePath) throws Exception {
        
            UploadObjectArgs uploadObjectArgs = UploadObjectArgs.builder().bucket(BUCKET_NAME)
                    .object(filePath.substring(PARENT_PATH.length()))
                    .filename(filePath)
                    .build();
            minioClient.uploadObject(uploadObjectArgs);
        }
    }

### 效果 ###

上传后，保留了文件的目录结构

![526a889fb88dd1692aadd86ca9b66894.png][]

![a3fe471528dbccb8a2e3b0220e89e5f8.png][]  
完工！

[2c9756cd989190f607c8eec492dcf3ae.png]: https://img-blog.csdnimg.cn/img_convert/2c9756cd989190f607c8eec492dcf3ae.png
[28659cf736c3d17ba451364c15481752.png]: https://img-blog.csdnimg.cn/img_convert/28659cf736c3d17ba451364c15481752.png
[c6997d9583c6b6c250af5f7a59d4bdc8.png]: https://img-blog.csdnimg.cn/img_convert/c6997d9583c6b6c250af5f7a59d4bdc8.png
[526a889fb88dd1692aadd86ca9b66894.png]: https://img-blog.csdnimg.cn/img_convert/526a889fb88dd1692aadd86ca9b66894.png
[a3fe471528dbccb8a2e3b0220e89e5f8.png]: https://img-blog.csdnimg.cn/img_convert/a3fe471528dbccb8a2e3b0220e89e5f8.png