Go bytes.Reader.WriteTo 怎么把内存数据流式复制出去

处理一段已经在内存里的字节数据时，很多人会手写一个 Read 循环。更直接的做法是用 bytes.NewReader 创建读取器，再调用 WriteTo，把 Reader 当前还没有消费的内容交给任意 io.Writer。成功时返回写出的字节数，Reader 的位置也会推进；目标 Writer 出错时，则要同时看 n 和 err，不能只看其中一个。

一、先把内存数据交给 bytes.Reader

bytes.Reader 同时提供 io.Reader、io.Seeker 等常用能力。创建后，Size 表示最初的长度，Len 表示从当前位置到末尾还剩多少字节。WriteTo 只处理这段剩余内容，因此在调用前后读取 Len，是排查“为什么少写了一段”的第一步。

package main

import (
	"bytes"
	"fmt"
)

func main() {
	// Reader 只负责提供内存中的剩余字节，Buffer 负责接收写入结果。
	source := []byte("cache-entry:42")
	reader := bytes.NewReader(source)
	var target bytes.Buffer

	fmt.Println("before:", reader.Len(), reader.Size())
	n, err := reader.WriteTo(&target)
	if err != nil {
		// 目标 Writer 出错时，n 仍可能大于 0，不能把它当成完整成功。
		panic(err)
	}
	fmt.Println("written:", n, "remaining:", reader.Len(), "value:", target.String())
}

这个小程序的关键不是把字符串变成另一个字符串，而是建立一个通用边界：目标只要满足 io.Writer，就可以替换成文件、网络请求体或自定义写入器。示例里的 bytes.Buffer 只是方便验收的内存目标。

二、用返回值判断复制是否完整

可以把一次复制的判断拆成三项：调用是否返回错误、n 是否等于调用前的剩余长度、目标 Writer 是否保留了预期内容。对于正常的 bytes.Buffer，通常会看到 err == nil 且 Reader 的 Len() 变为 0；这说明当前剩余区间已经被消费完。

这里的“流式”应理解为接口适配，而不是自动把整块内存变成无限小的传输。bytes.NewReader 本身仍然引用已有的字节切片；如果上游已经把几百 MB 数据全部放进内存，改成 WriteTo 不会降低这部分内存占用。

三、把错误和 Reader 游标放进复制函数

生产代码通常会把这段逻辑收成一个小函数，并在返回错误时把已写字节数保留下来，便于日志或重试策略使用。不要在函数内部擅自关闭目标 Writer，因为 Writer 的生命周期属于调用方。

func copyRemaining(dst io.Writer, src *bytes.Reader) (int64, error) {
	// 调用前保存剩余长度，用于区分“完整写出”和“部分写入”。
	want := int64(src.Len())
	n, err := src.WriteTo(dst)
	if err != nil {
		// n 说明失败前已经写出多少，err 才是可供上层处理的原因。
		return n, fmt.Errorf("write remaining bytes: %w", err)
	}
	if n != want {
		// 没有错误但字节数不完整时，也不要静默当成成功。
		return n, io.ErrShortWrite
	}
	return n, nil
}

上面代码需要导入 bytes、fmt 和 io。注意，若调用前 Reader 已经被 Read 或 Seek 过，want 就只对应当前位置后的片段；要重新复制完整数据，可以用原始切片重新创建 Reader，或调用 Reset。

四、WriteTo 和手动 Read 循环的边界

内存数据需要交给一个已有 Writer 时，WriteTo 让意图更集中，代码也更容易复用。需要在每个分片之间插入业务逻辑、计算增量校验、限制单次写入大小，或者上游本来就是网络连接时，手动循环或直接连接两个流会更合适。选择的标准是数据来源和错误处理需求，而不是为了“流式”三个字机械替换 API。

相关问题

WriteTo 调用后还能再次写出同一段数据吗？

可以重新创建 Reader，或者对已有 Reader 调用 Reset 让它回到新的字节切片；直接再次调用只会处理当前剩余区间。

为什么 n 小于源数据长度但 err 是 nil？

调用方应把短写视为不完整结果，并按约定返回 io.ErrShortWrite；不要只用 err == nil 判断成功。

bytes.Buffer 是生产环境唯一的目标吗？

不是。文件、压缩器、HTTP 请求体以及自定义 Writer 都可以作为目标，但资源打开、关闭和重试仍由各自的调用方管理。