Go utf8.DecodeRune 遇到非法字节如何定位原始偏移

用 Go 排查脏文本时，最容易误判的是把所有 utf8.RuneError 都当成坏字节。正确做法是同时看返回宽度：utf8.DecodeRune 对非空非法 UTF-8 返回 (utf8.RuneError, 1)，所以当前字节的下标就是原始偏移；真正编码后的 U+FFFD 通常占 3 个字节，不能混为一谈。

先把 RuneError 和 size=1 当成同一个诊断信号

DecodeRune 返回两个值：第一个是 rune，第二个是它占用的字节数。输入为空时返回 (RuneError, 0)；输入非空但编码非法时返回 (RuneError, 1)。官方文档把“不是正确 UTF-8、码点越界、不是最短编码”都归入非法编码。

因此只写 r == utf8.RuneError 不够。字符串里本来就可以出现 U+FFFD，它的 UTF-8 表示是三个字节，解码结果会是 (RuneError, 3)。宽度 1 才意味着解码器只能把当前字节作为一个错误单元消费。

用字节游标保留原始偏移

定位时不要把数据先转换成 []rune，因为转换后只剩码点序列，原始字节位置已经丢失。直接在 []byte 上保留 offset，每次从剩余切片解码，成功或失败都用返回的 size 推进。

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    data := []byte("A\xe4\xb8\xad\xffB")

    for offset := 0; offset 

这个循环里的 offset 始终是原始字节索引。ASCII 字符前进 1，多字节汉字前进 3，非法字节也只前进 1，因此后续字符仍能得到正确位置。图中各边表示数据与返回值的静态对应关系，不是某次本机运行截图。

把合法字符与非法字节分开处理

可以用下面的结果表快速核对诊断条件：

如果只关心字符串中的位置，也可以使用 for offset, r := range text。Go 规范规定，range 的索引是每个 UTF-8 编码码点的首字节位置；遇到非法序列时返回 U+FFFD，并让下一轮前进一个字节。需要同时拿到宽度、原始字节或自定义恢复策略时，显式调用 DecodeRuneInString 更直观。

检查字符串 range 与分块输入的边界

对完整字符串，range 足以给出错误字节的索引；对网络流、文件分块或消息拼接，不能把“块尾不完整”立即判为非法。一个 3 字节字符可能被拆在两个块中，应该暂存尾部字节，等下一块补齐后再调用解码器；只有到输入结束仍不完整，才把剩余首字节作为错误位置。

排查日志时建议同时记录偏移、十六进制字节和上下文片段。偏移是字节单位，若界面按字符计数，需要明确标注“字节偏移”，否则中文文本会出现看似错位的反馈。

常见问题

为什么 RuneError 不能直接代表非法字节？

因为 U+FFFD 本身是合法 Unicode 字符。判断非法编码要同时满足 RuneError 和 size == 1。

offset 应该加 1 还是加 size？

正常解码加 size；进入非法分支时 size 本来就是 1，记录当前偏移后加 1 即可。

把 string 转成 []rune 后还能定位原始字节吗？

不能直接定位。转换会丢掉原始字节边界，若需要偏移、坏字节值或恢复策略，应在 string 或 []byte 上扫描。