io.Copy 与 gsutil - 将大文件复制到 GS

本篇文章给大家分享《io.Copy 与 gsutil - 将大文件复制到 GS》，覆盖了Golang的常见基础知识，其实一个语言的全部知识点一篇文章是不可能说完的，但希望通过这些问题，让读者对自己的掌握程度有一定的认识(B 数)，从而弥补自己的不足，更好的掌握它。

经过大量测试，我们在使用 gs go 客户端库时似乎无法与 gsutil 的速度相匹配。 即使使用最简单的 io.copy() 的骨架文件也会比最简单的 gsutil 花费很多更长的时间。

ctx := context.Background()
client, err := storage.NewClient(ctx, option.WithCredentialsFile(*flags.credsFile))
bucket := client.Bucket("my_bucket")
File, _ := os.Open("path_to_file")
wc := bucket.Object("remoteFile").NewWriter(ctx)
_, _ = io.Copy(wc, File)
err = wc.Close()

当缓冲区为 128x1024 时，还尝试使用 io.copybuffer()，效果更好，但仍然很慢。

使用go时有什么办法可以加快上传速度吗？我们不想调用任何外部实用程序...

解决方案

听起来 io.Copy 实现不支持 GCS，而是执行实际的字节复制（从源文件读取并写入目标文件）。相比之下，gsutil 正在调用 GCS Rewrite API，对于源和目标位于相同位置和存储类别的情况，将执行仅元数据复制（避免字节复制）。这样做要快得多，这与您所观察到的性能相匹配。

你可以使用GCS感知的Go实现——即调用Rewrite而不是读/写底层对象字节的实现吗？

终于介绍完啦！小伙伴们，这篇关于《io.Copy 与 gsutil - 将大文件复制到 GS》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！