使用 Apache Beam Go SDK 从 Amazon S3 中获取数据

来到golang学习网的大家，相信都是编程学习爱好者，希望在这里学习Golang相关编程知识。下面本篇文章就来带大家聊聊《使用 Apache Beam Go SDK 从 Amazon S3 中获取数据》，介绍一下，希望对大家的知识积累有所帮助，助力实战开发！

我们正在使用 Go SDK 来构建管道。我认为 Apache Beam 已经支持适用于 Python 和 Java 的 AWS S3。是否有计划将其添加到 Go SDK 中？

正确答案

根据这个页面https://github.com/apache/beam/releases

beam 文件系统 (go) 的 s3 实现 (#23991)。

s3系统可以在beam包中使用并根据https://github.com/apache/beam/blob/master/sdks/go/pkg/beam/io/filesystem/filesystem.go

var wellknownschemeimportpaths = map[string]string{
    "memfs":   "github.com/apache/beam/sdks/v2/go/pkg/beam/io/filesystem/memfs",
    "default": "github.com/apache/beam/sdks/v2/go/pkg/beam/io/filesystem/local",
    "gs":      "github.com/apache/beam/sdks/v2/go/pkg/beam/io/filesystem/gcs",
    "s3":      "github.com/apache/beam/sdks/v2/go/pkg/beam/io/filesystem/s3",
}

s3 模式已被识别 所以也许只需使用

textio.Read(s, "s3://some file path...")

但也许...您首先遇到设置 aws 凭据错误 设置环境变量可能是最简单的方法。

https://docs.aws.amazon.com/sdk-for-go/v1/developer-guide/configuring-sdk.html

很抱歉，我无法提供更多帮助，因为我没有测试环境。

今天关于《使用 Apache Beam Go SDK 从 Amazon S3 中获取数据》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！