OSS大文件分片上传

电玩女神 2024-02-18 11:01 58阅读 0赞

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

#### 文章目录 ####

*  前言
 *  一、原理
 *  二、工具类
 *  二、注意事项
 *  总结

--------------------

## 前言 ##

> 最近做到项目中一个上传视频的功能，需要使用大文件分片上传，在网上找了一些资源借鉴，算是整出来一套可以用的，但是无奈，公司使用的是OSS，之前的东西只能推翻，使用阿里的OSS大文件分片上传SDK，此处记录一下。

--------------------

## 一、原理 ##

![在这里插入图片描述][3316028401ba41f28e760315405d6385.png]  
上边是官方给的图解

> 大文件分片上传的原理还是十分易懂的，主要是将一个文件切割成若干个固定的数据块（最后一块除外），然后将每个块分别上传，最后在云端存储的bucket中进行文件合并，并删除所有的文件块，其主要作用是为了去加快上传效率。

## 二、工具类 ##

> 直接上代码。我将OSS的sdk封了一个工具类出来

import com.aliyun.oss.ClientException;
    import com.aliyun.oss.OSS;
    import com.aliyun.oss.OSSClientBuilder;
    import com.aliyun.oss.OSSException;
    import com.aliyun.oss.common.auth.CredentialsProvider;
    import com.aliyun.oss.common.auth.DefaultCredentialProvider;
    import com.aliyun.oss.internal.Mimetypes;
    import com.aliyun.oss.model.*;
    import com.vibang.tyrl.admin.api.enums.OssFileOriginEnum;
    import com.vibang.tyrl.common.core.util.R;
    import org.springframework.web.multipart.MultipartFile;
    
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.FileOutputStream;
    import java.io.InputStream;
    import java.nio.charset.StandardCharsets;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    
    public class OSSUtil {
        
        // Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
        private final static String endpoint = "https://oss-cn-beijing.aliyuncs.com";
        // RAM用户的访问密钥（AccessKey ID和AccessKey Secret）。
        private final static String accessKeyId = "";
        private final static String accessKeySecret = "";
        // 使用代码嵌入的RAM用户的访问密钥配置访问凭证。
        private final static CredentialsProvider credentialsProvider = new DefaultCredentialProvider(accessKeyId, accessKeySecret);
        // 填写Bucket名称，例如examplebucket。
        private final static String bucketName = "";
        public static R upload(MultipartFile file,Integer key) throws Exception {
        
            // 填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
            String originalFilename = file.getOriginalFilename();
            String suffix = originalFilename.substring(originalFilename.lastIndexOf("."));
            String fileName = System.currentTimeMillis()+suffix;
            //根据枚举类进行文件分包上传
            String objectName = OssFileOriginEnum.getEumByCode(key).getPacketName() + "/" + fileName;
            // 获取字节数组
            byte[] bytes = file.getBytes();
            // 创建临时文件
            File tempFile = File.createTempFile("temp", suffix);
            // 将字节数组写入临时文件
            try (FileOutputStream fos = new FileOutputStream(tempFile)) {
        
                fos.write(bytes);
            }
            // 创建OSSClient实例。
            OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
            try {
        
                // 创建InitiateMultipartUploadRequest对象。
                InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
                // 如果需要在初始化分片时设置请求头，请参考以下示例代码。
                ObjectMetadata metadata = new ObjectMetadata();
                // 指定初始化分片上传时是否覆盖同名Object。此处设置为true，表示禁止覆盖同名Object。
    //             metadata.setHeader("x-oss-forbid-overwrite", "true");
    //            // 根据文件自动设置ContentType。如果不设置，ContentType默认值为application/oct-srream。
                 request.setObjectMetadata(metadata);
    
                if (metadata.getContentType() == null) {
        
                    metadata.setContentType(Mimetypes.getInstance().getMimetype(tempFile, objectName));
                }
    
                // 初始化分片。
                InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
    
    
                // 返回uploadId。
                String uploadId = upresult.getUploadId();
                // 根据uploadId执行取消分片上传事件或者列举已上传分片的操作。
                // 如果您需要根据您需要uploadId执行取消分片上传事件的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后获取uploadId。
                // 如果您需要根据您需要uploadId执行列举已上传分片的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后，且在调用CompleteMultipartUpload完成分片上传之前获取uploadId。
                // System.out.println(uploadId);
    
                // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
                List<PartETag> partETags = new ArrayList<PartETag>();
                // 每个分片的大小，用于计算文件有多少个分片。单位为字节。
                final long partSize = 10 * 1024 * 1024L;   //10 MB。
    
                // 根据上传的数据大小计算分片数。以本地文件为例，说明如何通过File.length()获取上传数据的大小。
                final File sampleFile = tempFile;
                long fileLength = sampleFile.length();
                int partCount = (int) (fileLength / partSize);
                if (fileLength % partSize != 0) {
        
                    partCount++;
                }
                // 遍历分片上传。
                for (int i = 0; i < partCount; i++) {
        
                    long startPos = i * partSize;
                    long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                    UploadPartRequest uploadPartRequest = new UploadPartRequest();
                    uploadPartRequest.setBucketName(bucketName);
                    uploadPartRequest.setKey(objectName);
                    uploadPartRequest.setUploadId(uploadId);
                    // 设置上传的分片流。
                    // 以本地文件为例说明如何创建FIleInputstream，并通过InputStream.skip()方法跳过指定数据。
                    InputStream instream = new FileInputStream(sampleFile);
                    instream.skip(startPos);
                    uploadPartRequest.setInputStream(instream);
                    // 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
                    uploadPartRequest.setPartSize(curPartSize);
                    // 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。
                    uploadPartRequest.setPartNumber(i + 1);
                    // 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
                    // 上传文件的同时指定进度条参数。此处PutObjectProgressListenerDemo为调用类的类名，请在实际使用时替换为相应的类名。
                    UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest.withProgressListener(new ProgressOSSUtil()));
                    // 每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
                    partETags.add(uploadPartResult.getPartETag());
                }
                // 创建CompleteMultipartUploadRequest对象。
                // 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件。
                CompleteMultipartUploadRequest completeMultipartUploadRequest =
                        new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
                // 完成分片上传。
                CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
                System.out.println(completeMultipartUploadResult.getETag());
                System.out.println("uploadId:"+uploadId);
                Map<String, Object> map = new HashMap<>();
                map.put("path","https://vibang.oss-cn-beijing.aliyuncs.com/" + objectName);
                map.put("uploadId",uploadId);
                map.put("totalPart",partCount);
                return R.ok(map);
            } catch (OSSException oe) {
        
                Map<String, Object> map = new HashMap<>();
                map.put("ErrorMessage",oe.getErrorMessage());
                map.put("ErrorCode",oe.getErrorCode());
                map.put("RequestID",oe.getRequestId());
                map.put("HostID",oe.getHostId());
                return R.ok(map);
            } catch (ClientException ce) {
        
                Map<String, Object> map = new HashMap<>();
                map.put("ErrorMessage", ce.getMessage());
                return R.ok(map);
            } finally {
        
                if (ossClient != null) {
        
                    ossClient.shutdown();
                }
            }
        }
    
    
        public static R deleteFile(String path){
        
            // 填写文件完整路径。文件完整路径中不能包含Bucket名称。
            int lastIndex = path.lastIndexOf("aliyuncs.com/");
            String objectName = path.substring(lastIndex + 13);
            // 创建OSSClient实例。
            OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
            try {
        
                // 删除文件或目录。如果要删除目录，目录必须为空。
                ossClient.deleteObject(bucketName, objectName);
                return R.ok("成功");
            } catch (OSSException oe) {
        
                Map<String, Object> map = new HashMap<>();
                map.put("ErrorMessage",oe.getErrorMessage());
                map.put("ErrorCode",oe.getErrorCode());
                map.put("RequestID",oe.getRequestId());
                map.put("HostID",oe.getHostId());
                return R.ok(map);
            } catch (ClientException ce) {
        
                Map<String, Object> map = new HashMap<>();
                map.put("ErrorMessage", ce.getMessage());
                return R.ok(map);
            } finally {
        
                if (ossClient != null) {
        
                    ossClient.shutdown();
                }
            }
        }
    }

## 二、注意事项 ##

官方不推荐将accessKeyId 和 accessKeySecret 直接配置在代码当中，建议的是直接配置在环境变量中，由于前期的开发测试是在本地进行的，所以就使用了，如果需要配置环境变量，还是需要去官方给的手册上，按步骤进行操作即可：传送门放这里  
[OSS文件存储JavaSDK配置访问凭证][OSS_JavaSDK]  
![在这里插入图片描述][eb12ccf578e94aec810b3e1a94b0bc91.png]  
也可以在yml文件中配置固定值，比我写的这种方式要安全一点，在类中再使用@Value取值，需要注意的是，当使用@Value取值时，该类需要使用@Component注解标注为组件，并且，这些属性不能使用static和final修饰，否则会报null异常。

> 可以对该工具类进行扩展，只要没有执行最后的合并，这些数据块永远也不会删除，结合数据库，可以对上传的文件块做一个记录，因为每一个文件块都有固定的md5值，并且上传完以后，sdk会返回这个文件块的md5值，所以利用这点可以做一个断点续传和秒传，断点续传即：在库中查找文件上次上传的文件块，跳过已完成上传的文件块，秒传：根据文件的MD5唯一值去判定，是否存在这个文件，进行秒传。不过公司并不需要这个功能，就没做。

--------------------

## 总结 ##

主要记录一下OSS大文件分片上传的SDK使用

[3316028401ba41f28e760315405d6385.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/9ddfcab26cd34d8f94798f6f2acc5df5.png
[OSS_JavaSDK]: https://help.aliyun.com/zh/oss/developer-reference/oss-java-configure-access-credentials?spm=a2c4g.11186623.0.i9#main-2350752
[eb12ccf578e94aec810b3e1a94b0bc91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b4c03932f87947d7925b6c2701bfe635.png