k8s中通过aws sdk访问s3遇到的坑

朴灿烈づ我的快乐病毒、 2023-02-20 02:41 14阅读 0赞

# 背景 #

公司有一套基于k8s的paas系统，现在pod中安装了aws 命令行工具

RUN apk add py-pip && pip install awscli

可以使用命令直接get、put文件，如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xwMTk4NjExMjY_size_16_color_FFFFFF_t_70]  
由于java使用命令行时可能会出现卡死现象，所以这里想使用aws提供的sdk来直接上传下载文件。  
默认有两种方式，一种是程序中配置key：

BasicAWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, awsSecretKey);
                s3 = AmazonS3ClientBuilder.standard().withCredentials(new AWSStaticCredentialsProvider(awsCredentials)).withRegion(Regions.DEFAULT_REGION).build();

另外一种如下：

s3 = AmazonS3ClientBuilder.standard().withCredentials(new ProfileCredentialsProvider()).withRegion(Regions.DEFAULT_REGION).build();

# 报错 #

## 报错一：java.lang.IllegalArgumentException: profile file cannot be null ##

原因：这里是没找到配置文件，~/.aws/credentials  
解决方案：  
在dorker中需要直接使用下面方式来初始化s3client

AmazonS3 s3Client = new AmazonS3Client();
    或者
    AmazonS3 s3Client = new AmazonS3Client(DefaultAWSCredentialsProviderChain.getInstance());

最终初始化代码如下：

s3 = AmazonS3ClientBuilder.standard().withCredentials(DefaultAWSCredentialsProviderChain.getInstance()).withRegion(Regions.DEFAULT_REGION).build();

参考链接：  
https://stackoverflow.com/questions/41796355/aws-error-downloading-object-from-s3-profile-file-cannot-be-null

## 报错二：Amazon S3 exception: “The specified key does not exist” ##

详细报错：

com.amazonaws.services.s3.model.AmazonS3Exception: 
    The specified key does not exist.
     (Service: Amazon S3; Status Code: 404; Error Code: NoSuchKey;

代码如下：

public static void downloadFile(String fileName,String savePath) {
            S3Object s3Object = s3.getObject(bucketName, fileName);
            FileOutputStream fos = null;
            try (S3ObjectInputStream s3input = s3Object.getObjectContent()){
                fos = new FileOutputStream(new File(savePath));
                byte[] read_buf = new byte[1024];
                int read_len = 0;
                while ((read_len = s3input.read(read_buf)) > 0) {
                    fos.write(read_buf, 0, read_len);
                }
                s3Object.close();
                fos.close();
            } catch (Exception e) {
                log.warn("获取文件异常:fileName={},savePath={}",fileName,savePath,e);
                throw new AppException("获取文件异常:fileName="+fileName+",savePath="+savePath);
            } finally {
                try{
                    if(fos!=null) {
                        fos.close();
                    }
                }catch (IOException e){
                    log.warn("关闭文件流异常:fileName={},savePath={}",fileName,savePath,e);
                }
            }
        }

原因：这里是只找不到文件  
解决方案：检查s3上的文件路径是否正确，  
举个例子：s3://bucket\_name/aa/bb/mm.csv  
这里的fileName参数应该传“aa/bb/mm.csv”；

## 报错三：/data/xx/xx/aa.csv not exists ##

这个原因比较明显，是目标文件找不到，请先确认号父目录是否创建

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xwMTk4NjExMjY_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200622143954581.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xwMTk4NjExMjY=,size_16,color_FFFFFF,t_70