登录
首页 >  Golang >  Go问答

将 JSON 流式传输到 Bigquery

来源:stackoverflow

时间:2024-04-26 09:45:34 179浏览 收藏

大家好,我们又见面了啊~本文《将 JSON 流式传输到 Bigquery》的内容中将会涉及到等等。如果你正在学习Golang相关知识,欢迎关注我,以后会给大家带来更多Golang相关文章,希望我们能一起进步!下面就开始本文的正式内容~

问题内容

从 Google Drive API,我收到一组结构类型文件。我的目标是添加一些字段并将数据流式传输到 BigQuery 中。

我的第一个方法是更改​​文件结构并将更新的结构流式传输到 BigQuery。这看起来像是一个死胡同,我正在尝试使用建议的方法,将结构编组为 JSON 并将其流式传输到 BigQuery 中。

我找到了这个示例 bigquery-table-insert-rows,但它实现了 ValueSaver 接口。对我来说,一个简单的 Marshall,然后将 JSON 流式传输到 BigQuery 就足够了。

但是,我找不到任何方法或示例可以做到这一点。所以我想知道是否可以使用 Go 将 JSON 流式传输到 BigQuery 中。一个基本的例子就很好了。


解决方案


您认为仅提供结构就足够了,这是正确的。

也许查看一些简单但完整的代码会有一些帮助:https://github.com/tovare/idporten

我所做的就是放置一个结构体切片,其中的结构体用 bigquery 进行注释。

type metric struct {
    timestamp time.time `bigquery:"timestamp"`
    metode    string    `bigquery:"metode"`
    antall    int       `bigquery:"antall"`
}

...

seriesTableRef := client.Dataset(datasetName).Table(tableName)
    if err := seriesTableRef.Inserter().Put(ctx, metrics); err != nil {
        return err
    }

好了,本文到此结束,带大家了解了《将 JSON 流式传输到 Bigquery》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多Golang知识!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>