Go io合并多个输入流并处理错误的实践方案

把多个文件、分片或内存流交给同一个下游处理器时，不必先把它们全部读进 []byte。Go 的 io.MultiReader 可以把多个 io.Reader 按传入顺序拼成一个逻辑流，再交给 io.Copy 统一消费；任何输入返回非 EOF 错误，复制过程都会停止并把错误带回调用方。

用 MultiReader 把多个输入流串成一个 Reader

先把业务顺序固定下来，再传给 io.MultiReader。它只负责读取边界：第一个 Reader 返回 EOF 后才读取第二个，全部输入都结束后才返回 EOF。因此它适合拼接日志片段、归档分卷或上传分片，但不会替你插入换行、长度头或 JSON 分隔符。

package main

import (
    "fmt"
    "io"
    "os"
    "strings"
)

func main() {
    readers := []io.Reader{
        strings.NewReader("header\n"),
        strings.NewReader("body\n"),
        strings.NewReader("tail\n"),
    }

    // MultiReader 只做顺序串联，分隔符必须由输入内容自行提供。
    merged := io.MultiReader(readers...)
    written, err := io.Copy(os.Stdout, merged)
    if err != nil {
        // written 可用于记录已经传出的部分进度。
        panic(fmt.Errorf("合并读取失败，已写入 %d 字节: %w", written, err))
    }
    fmt.Printf("共写入 %d 字节\n", written)
}

io.Copy 如何保留合并过程中的错误

io.Copy 返回两个值：已写入的字节数和错误。正常结束时错误为 nil；输入在中途返回真实 I/O 错误时，已写出的前缀仍然有效，调用方应把字节数记入日志、指标或断点状态，不能只打印一句“复制失败”。

如果自己实现读取循环，判断顺序也很重要。Reader 可能一次返回 n > 0 和一个错误，必须先消费这 n 个字节，再决定是否退出。对于 MultiReader，EOF 代表当前输入结束，非 EOF 错误则代表当前合并链路无法继续。

文件流的错误和关闭要分开处理

当 Reader 来自 os.Open 时，MultiReader 不拥有文件的关闭方法，它只看见 io.Reader 接口。工程代码应在复制前完成打开；如果中途某个文件打不开，立即关闭此前已经打开的文件。复制结束后再统一关闭全部文件，并决定复制错误和关闭错误谁是主错误。

func mergeFiles(dst io.Writer, paths []string) (int64, error) {
    files := make([]*os.File, 0, len(paths))
    readers := make([]io.Reader, 0, len(paths))
    for _, path := range paths {
        f, err := os.Open(path)
        if err != nil {
            // 当前文件打不开时，回收已经成功打开的文件。
            for _, opened := range files {
                _ = opened.Close()
            }
            return 0, fmt.Errorf("打开 %s: %w", path, err)
        }
        files = append(files, f)
        readers = append(readers, f)
    }

    // io.Copy 负责顺序消费，并返回中途已经写出的数量。
    written, copyErr := io.Copy(dst, io.MultiReader(readers...))
    var closeErr error
    for _, f := range files {
        if err := f.Close(); err != nil && closeErr == nil {
            // 只保留第一个关闭错误，避免覆盖复制错误上下文。
            closeErr = err
        }
    }
    if copyErr != nil {
        return written, fmt.Errorf("复制输入流: %w", copyErr)
    }
    if closeErr != nil {
        return written, fmt.Errorf("关闭输入文件: %w", closeErr)
    }
    return written, nil
}

这里没有在打开循环里使用 defer f.Close()，是为了避免大量文件句柄一直等到外层函数结束才释放。若输入数量很少，局部函数配合 defer 也可以；关键是让资源释放点与所有权一致。

按数据方向选择组合方式

串联输入选 MultiReader；同一份输入要同时写到文件和摘要缓冲区，选 io.MultiWriter；只允许读取固定长度时，在对应 Reader 外层包 io.LimitReader。三者可以组合，但要先明确数据流方向，不要把“多个输入”误写成并发消费。

常见问题

MultiReader 会并发读取多个文件吗？

不会。它按参数顺序逐个读取；需要并发预取时，应在更上层设计任务和背压，不要把 MultiReader 当作并发调度器。

多个输入之间如何自动加换行？

MultiReader 不会修改数据。把换行、协议分隔符或长度字段作为独立 Reader 插入，或在准备输入时明确写入。

复制失败后还能继续下一个输入吗？

非 EOF 错误表示当前链路不能按原语义继续，通常应停止并保留已写入数量；是否重试要由上层根据输入是否可重放来决定。