从aws GO SDK获取S3存储桶大小

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《从aws GO SDK获取S3存储桶大小》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

我正在使用 Amazon S3 存储桶上传文件（使用 GO SDK）。我需要在目录大小超过 2GB 时向客户收费。

存储桶内的目录层次结构如下：/BUCKET/uploads/CLIENTID/yyyy/mm/dd

为此，我查了很多资料。但找不到任何东西。

如何使用 SDK 获取存储桶内的目录大小？

正确答案

首先，/uploads/clientid/yyyy/mm/dd 不是 s3 存储桶中的目录，而是 prefix。aws 控制台中的 s3 管理 ui 可能会欺骗您认为存储桶具有子目录，就像您的存储桶一样。计算机文件系统，但它们是前缀。

您的问题实际上是：如何获取存储桶内具有给定前缀的所有对象的总大小？

希望这段代码能够消除您的疑虑。

package main

import (
    "context"
    "fmt"

    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/service/s3"
)

// iterate all objects in a given S3 bucket and prefix, sum up objects' total size in bytes
// use: size, err := S3ObjectsSize("example-bucket-name", "/a/b/c")
func S3ObjectsSize(bucket string, prefix string, s3client S3Client) (int64, error) {
    output, err := s3client.ListObjectsV2(context.TODO(), &s3.ListObjectsV2Input{
        Bucket: aws.String(bucket),
        Prefix: aws.String(prefix),
    })

    if err != nil {
        return -1, fmt.Errorf("cannot ListObjectsV2 in %s/%s: %s", bucket, prefix, err.Error())
    }

    var size int64
    for _, object := range output.Contents {
        size += object.Size
    }

    return size, nil

}

// stub of s3.Client for dependency injection
type S3Client interface {
    ListObjectsV2(ctx context.Context, params *s3.ListObjectsV2Input, optFns ...func(*s3.Options)) (*s3.ListObjectsV2Output, error)
}

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《从aws GO SDK获取S3存储桶大小》文章吧，也可关注golang学习网公众号了解相关技术文章。