bufioReader按分隔符读取日志

读取日志时，最稳妥的做法不是先把整个文件读进内存，而是让 bufio.Reader 按一条记录的分隔符消费输入。换行日志优先使用 ReadString('\n') 或 ReadBytes('\n')；如果每条记录由竖线、逗号等字符结束，只要把分隔符换成对应的字节即可。

官方地址：https://pkg.go.dev/bufio#Reader

ReadString 会把分隔符也带进返回值；读到最后一条没有分隔符的日志时，通常会同时得到非空数据和 io.EOF。因此应先处理返回的数据，再判断错误，不能看到 EOF 就丢掉最后一条记录。

先按返回语义选读取方法

bufio.Reader 提供了几种相近的接口，但它们适合的任务不同。需要保留原始字节时选 ReadBytes，需要直接得到字符串时选 ReadString；ReadLine 更适合分片处理一行，并且调用方必须关注 isPrefix。

如果只是逐条处理普通文本日志，ReadString 的表达最直接。它不会替你去掉末尾分隔符，所以交给解析器前通常要调用 strings.TrimSuffix，而不是无条件使用 TrimSpace，避免误删日志正文里的空格。

用 ReadString 读取换行日志

下面的函数接收一个 io.Reader，因此文件、网络连接和内存字符串都可以复用同一套逻辑。处理顺序是：先看是否拿到了文本；文本非空就先交给业务函数；只有没有更多文本时，才把 EOF 当成正常结束。

package main

import (
	"bufio"
	"fmt"
	"io"
	"strings"
)

// readLogLines 按换行读取日志，并保留“最后一行没有换行符”的记录。
func readLogLines(r io.Reader, handle func(string) error) error {
	reader := bufio.NewReader(r)
	for {
		line, err := reader.ReadString('\n')
		if line != "" {
			// 只删除记录末尾的分隔符，不改变日志正文中的其他空白。
			line = strings.TrimSuffix(line, "\n")
			if handleErr := handle(line); handleErr != nil {
				// 业务处理失败应立即返回，避免继续消费后续日志。
				return fmt.Errorf("处理日志失败: %w", handleErr)
			}
		}
		if err != nil {
			if err == io.EOF {
				// EOF 可能与最后一条无换行记录同时出现；数据已在上面处理。
				return nil
			}
			return fmt.Errorf("读取日志失败: %w", err)
		}
	}
}

示例的核心是“数据优先、错误随后”。如果 ReadString 读到最后一行时返回 "last record" 和 io.EOF，循环仍会先调用 handle，然后正常结束。另一个容易忽略的点是：业务回调的错误要和底层读取错误区分开，并使用 %w 保留原始错误。

把分隔符换成逗号或竖线

ReadString 的参数是一个 byte，因此适合单字节分隔符。比如管道日志以 | 结束，就传入 '|'；返回字符串仍然包含这个字符，解析前应只移除末尾那一个分隔符。

// readRecords 用指定的单字节分隔符逐条读取文本记录。
func readRecords(r io.Reader, delim byte, handle func(string) error) error {
	reader := bufio.NewReader(r)
	for {
		record, err := reader.ReadString(delim)
		if record != "" {
			// 只移除末尾分隔符，避免误删字段中间的相同字符。
			record = strings.TrimSuffix(record, string(delim))
			if handleErr := handle(record); handleErr != nil {
				return fmt.Errorf("处理分隔记录失败: %w", handleErr)
			}
		}
		if err != nil {
			if err == io.EOF {
				// 最后一条记录没有 delim 时，非空 record 仍然有效。
				return nil
			}
			return fmt.Errorf("读取分隔记录失败: %w", err)
		}
	}
}

这里的边界是“单个字节”。如果业务分隔符是多字节字符串，例如 || 或中文标记，不能把字符串直接塞给 ReadString；可以先按字节读取并自行组装，或者改用 bufio.Scanner 的自定义 split 函数，但要额外考虑扫描缓冲区上限。

遇到长日志和 EOF 时怎样定位

按分隔符读取通常不会把整份文件装入内存，但一条记录本身仍可能很长。遇到异常时按下面三层检查，能快速区分是输入边界、业务回调还是底层 I/O。

• 最后一条丢失：检查是否在 len(record) 判断前先处理了 io.EOF。EOF 表示后面没有更多字节，不代表本次返回的数据为空。
• 一行被截断：如果使用 ReadLine，查看 isPrefix；如果需要一次拿到完整记录，优先使用 ReadString 或 ReadBytes，并评估长记录的内存成本。
• 分隔符不生效：确认传入的是单字节 byte，并检查输入是否使用了不同的换行约定，例如 \r\n。必要时只清理末尾的 \r，不要全局替换正文。
• 读取中途失败：不要把所有非 EOF 错误都当成正常结束；用 fmt.Errorf("...: %w", err) 保留底层错误，方便上层用 errors.Is 继续判断。

最后记住这份读取清单

普通文本日志用 ReadString，需要原始字节用 ReadBytes，需要控制超长行分片再考虑 ReadLine。所有方法都要把“返回的数据”和“返回的错误”分开看：数据非空时先处理，EOF 只表示输入结束；返回值里的分隔符要由调用方明确剥离；非 EOF 错误必须保留并返回。

相关问题

• ReadString 会不会自动删除换行符？不会，分隔符包含在返回字符串中，需要调用方按边界删除。
• 最后一行没有换行符是不是异常？不是，只要返回了非空数据，就应先处理这条记录，再把 EOF 视为正常结束。
• 什么时候应该换成 Scanner？当需要自定义 split 规则并接受扫描器的 token 大小限制时可以考虑；超长日志应先评估缓冲区与错误处理策略。