Java 使用OSS 文件上传+下载简单入门

刺骨的言语ヽ痛彻心扉 2023-10-13 17:39 49阅读 0赞

官方SDK文档：[Java对象/文件\_对象存储-阿里云帮助中心][Java_-]

> ## 开始使用OSS ##
> 
> 阿里云对象存储OSS（Object Storage Service）为您提供基于网络的数据存取服务。使用OSS，可以通过网络随时存储和调用包括文本、图片、音视频在内的各类数据文件；可以通过OSS控制台创建Bucket，并将文件上传至Bucket。
> 
> 上传完成后，将文件（Object）下载至本地或者通过生成签名URL的方式将文件分享给第三方，供其下载或预览。
> 
> [如何使用OSS控制台、ossutil、ossbrowser、OSSSDK\_对象存储-阿里云帮助中心][OSS_ossutil_ossbrowser_OSSSDK_-]

添加依赖：

<dependency>
                <groupId>com.aliyun.oss</groupId>
                <artifactId>aliyun-sdk-oss</artifactId>
                <version>3.15.1</version>
            </dependency>

参数说明：

// Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
        public static String endpoint="https://oss-cn-hangzhou-internal.aliyuncs.com";
    
        // 阿里云账号AccessKey
        public static String accessKeyId="你的key";
    
        //阿里云账号访问密钥
        public static String accessKeySecret="你的密钥";
    
        // 填写Bucket名称--需提前创建存储空间
        public static String bucketName ="存储桶名称";
    
        // 文件保存路径 例：fileUpload/test/
        public static String savePath ="oss保存目录";
    
    
          /**
         * 获取文件扩展名
         * 内容类型转媒体类型
         *
         * @param contentType
         * @return
         */
        public static String getMediaType(String contentType) {
            String fileExtension = null;
            switch (contentType) {
                case "image/bmp":
                    fileExtension = ".bmp";
                    break;
                case "image/gif":
                    fileExtension = ".gif";
                    break;
                case "image/jpeg":
                    fileExtension = ".jpeg";
                    break;
                case "video/mp4":
                    fileExtension = ".mp4";
                    break;
            }
            // 默认返回类型
            return fileExtension;
    
        }
    
        /**
         * 获取内容类型
         * 媒体类型转内容类型
         *
         * @param fileExtension
         * @return
         */
        public static String getContentType(String fileExtension){
            String contentType = null;
            switch (fileExtension) {
                case ".bmp":
                    contentType = "image/bmp";
                    break;
                case ".gif":
                    contentType = "image/gif";
                    break;
                case ".jpeg":
                    contentType = "image/jpeg";
                    break;
                case ".mp4":
                    contentType = "video/mp4";
                    break;
            }
            // 默认返回类型
            return contentType;
        }

oss-创建客户端连接

public static OSS getOSSClient() {
            ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
            // 连接空闲超时时间，超时则关闭
            conf.setIdleConnectionTime(1000);
            return new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret, conf);
        }

oss-创建桶 （oss客户端创建）

/**
         * 创建桶
         *
         * @param ossClient  OSS连接
         * @param bucketName 桶名称
         * @return 
         */
        public static String createBucketName(OSS ossClient, String bucketName) {
            if (!ossClient.doesBucketExist(bucketName)) {
                //创建存储空间
                Bucket bucket = ossClient.createBucket(bucketName);
                log.info("创建存储空间成功");
                return bucket.getName();
            }
            return bucketName;
        }

oss-文件上传：服务器本地上传至OSS

/**
         * 上传本地文件至oss
         * @param id 文件唯一标识
         * @param file 文件名称 例:test.txt
         * @param fileName oss中 文件名称 例 newTest
         * @return 返回oss中存储路径 fileUpload/test/newTest.txt
         */
        public static String uploadByteArray(String id, File file, String fileName) {
            String fileExtension = file.getName().substring(file.getName().lastIndexOf("."));//文件扩展名
            String ossFileName = fileName + fileExtension; //文件名 例如 test.jpeg
            String objectName = savePath + ossFileName; //oss 文件全路径名称
            long fileSize = file.length(); //上传文件大小
            OSS ossClient = this.getOSSClient();// 创建oss客户端连接
            ObjectMetadata metadata = new ObjectMetadata();// 如果需要上传时设置存储类型和访问权限，请参考以下示例代码。
            metadata.setCacheControl("no-cache"); // 指定该Object被下载时的网页的缓存行为
            metadata.setHeader("Pragma", "no-cache");  // 指定该Object下设置Header
            metadata.setContentEncoding("utf-8"); // 指定该Object被下载时的内容编码格式
            // 文件的MIME，定义文件的类型及网页编码，决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成，
            metadata.setContentType(getContentType(fileExtension)); // 如果没有扩展名则填默认值application/octet-stream
            metadata.setContentDisposition("filename/filesize=" + ossFileName + "/" + fileSize + "Byte."); // 指定该Object被下载时的名称（指示MINME用户代理如何显示附加的文件，打开或下载，及文件名称）
            ZonedDateTime expirationTime = ZonedDateTime.now().plusDays(7);// 设置文件过期时间为7天
            Date expirationDate = Date.from(expirationTime.toInstant());
            metadata.setExpirationTime(expirationDate); // 设置文件元信息
            InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(
                    bucketName,
                    objectName,
                    metadata
            );// 创建InitiateMultipartUploadRequest对象。
            InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);// 初始化分片
            String uploadId = upresult.getUploadId(); // 返回uploadId，它是分片上传事件的唯一标识。您可以根据该uploadId发起相关的操作，例如取消分片上传、查询分片上传等。
            List<PartETag> partETags = new ArrayList<PartETag>();// partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
            int partCount = (int) (fileSize / partSize);
            if (fileSize % partSize != 0) {
                partCount++;
            }
            log.info("【视频上传】id:【{}】分片总块数:【{}】", id, partCount);
            ExecutorService executorService = Executors.newFixedThreadPool(10);
            for (int i = 0; i < partCount; i++) {// 遍历分片上传
                long startPos = i * partSize;
                long curPartSize = (i + 1 == partCount) ? (fileSize - startPos) : partSize;
                int partNumber = i + 1;
                executorService.execute(new Runnable() { // 实现并启动线程
                    @Override
                    public void run() {
                        InputStream inputStream = null;
                        try {
                            inputStream = new FileInputStream(file);
                            // 跳过已经上传的分片
                            inputStream.skip(startPos);
                            UploadPartRequest uploadPartRequest = new UploadPartRequest();
                            uploadPartRequest.setBucketName(bucketName);
                            uploadPartRequest.setKey(objectName);
                            uploadPartRequest.setUploadId(uploadId);
                            uploadPartRequest.setInputStream(inputStream);
                            uploadPartRequest.setPartSize(curPartSize);// 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
                            uploadPartRequest.setPartNumber(partNumber); // 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出这个范围，OSS将返回InvalidArgument的错误码。
                            UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest); 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
                            synchronized (partETags) {//每次上传分片之后，OSS的返回结果会包含一个PartETag。PartETag将被保存到PartETags中。
                                partETags.add(uploadPartResult.getPartETag());
                            }
                        } catch (IOException e) {
                            log.error("【分片上传】分片上传异常！id:【{}】msg:【{}】", id, e.getMessage());
                        } finally {
                            if (inputStream != null) {
                                try {
                                    inputStream.close();
                                } catch (IOException e) {
                                    log.error("【分片上传】关闭输入流异常！id:【{}】msg:【{}】", id, e.getMessage());
                                }
                            }
                        }
                    }
                });
            }
            // 等待所有的分片完成
            // shutdown方法：通知各个任务（Runnable）的运行结束
            executorService.shutdown();
            while (!executorService.isTerminated()) {
                try {
                    executorService.awaitTermination(10, TimeUnit.SECONDS); // 指定的时间内所有的任务都结束的时候，返回true，反之返回false，返回false还有执行完的任务
                } catch (InterruptedException e) {
                    log.error(e.getMessage());
                }
            }
            // 立即关闭所有执行中的线程
            // executorService.shutdownNow();
    
            // 验证是否所有的分片都完成
            if (partETags.size() != partCount) {
                throw new IllegalStateException("文件的某些部分上传失败！");
            } else {
                log.info("【文件上传】分片上传！id:【{}】", id);
            }
            Collections.sort(partETags, new Comparator<PartETag>() {// 完成分片上传 进行排序。partETags必须按分片号升序排列
                @Override
                public int compare(PartETag o1, PartETag o2) {
                    return o1.getPartNumber() - o2.getPartNumber();
                }
            });
            // 创建CompleteMultipartUploadRequest对象
            // 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件
            CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
            completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.PublicReadWrite); // 设置文件访问权限
            CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);// 完成上传
            if (StringUtils.isNotEmpty(completeMultipartUploadResult.getETag())) {
                MultipartFileToFileUtil.deleteTempFile(file);
                log.info("【文件上传】上传成功！id:【{}】objectName:【{}】", id, objectName);
                return objectName;
            } else {
                log.error("【文件上传】上传失败！id:【{}】", id);
            }
            return null;
        }

oss-文件下载：此处以数据分片&断点续传方式下载

/**
         * oss文件下载至指定文件夹
         *
         * @param objectName      oss保存路径 例：fileUpload/test/newTest.txt
         * @param fileExtension   文件名称 例：test.txt
         * @param destinationPath 存储目标路径 例：D:\\localpath\\
         */
        public static boolean downOSSFile(String objectName, String fileExtension, String destinationPath) {
            OSS ossClient = this.getOSSClient();// 创建oss客户端连接
            // 请求10个任务并发下载。
            DownloadFileRequest downloadFileRequest = new DownloadFileRequest(bucketName, objectName);
            // 指定Object下载到本地文件的完整路径，例如D:\\localpath\\examplefile.txt。
            downloadFileRequest.setDownloadFile(destinationPath + fileExtension);
            // 设置分片大小，单位为字节，取值范围为100 KB~5 GB。默认值为100 KB。
            downloadFileRequest.setPartSize(1 * 1024 * 1024);
            // 设置分片下载的并发数，默认值为1。
            downloadFileRequest.setTaskNum(10);
            // 开启断点续传下载，默认关闭。
            downloadFileRequest.setEnableCheckpoint(true);
            // 设置断点记录文件的完整路径，例如D:\\localpath\\examplefile.txt.dcp。
            // 只有当Object下载中断产生了断点记录文件后，如果需要继续下载该Object，才需要设置对应的断点记录文件。下载完成后，该文件会被删除。
            downloadFileRequest.setCheckpointFile(destinationPath + fileExtension + ".dcp");
            boolean isSuccess = false;
            try {
                // 下载文件。
                DownloadFileResult downloadRes = ossClient.downloadFile(downloadFileRequest);
                // 下载成功时，会返回文件元信息。
                ObjectMetadata objectMetadata = downloadRes.getObjectMetadata();
                if (org.apache.commons.lang3.StringUtils.isNotEmpty(objectMetadata.getETag())) {
                    log.info("下载成功！");
                    isSuccess = true;
                } else {
                    log.error("下载失败！");
                }
            } catch (OSSException oe) {
                log.error("1-下载异常！msg:【{}】", oe.getMessage());
    
            } catch (Throwable ce) {
                log.error("2-下载异常！msg:【{}】", ce.getMessage());
            } finally {
                if (ossClient != null) {
                    ossClient.shutdown();
                }
            }
            return isSuccess;
        }

[Java_-]: https://help.aliyun.com/document_detail/609604.html?spm=a2c4g.32006.0.0.39196cf011cAKp
[OSS_ossutil_ossbrowser_OSSSDK_-]: https://help.aliyun.com/document_detail/31883.html?spm=a2c4g.31882.0.0.7a4f3fe27VepOT