Go utf8.DecodeRune 遇到非法字节时怎么避免循环不前

用 utf8.DecodeRune 扫描可能含坏字节的 []byte 时，最容易出错的地方不是识别 RuneError，而是忽略返回的 size。非空输入遇到非法 UTF-8 时，函数返回 (utf8.RuneError, 1)；因此循环必须把游标至少向前移动 1 个字节。若只判断 rune、不消费这 1 个字节，就会反复读取同一位置，表现为循环不前。

官方资料：https://pkg.go.dev/unicode/utf8#DecodeRune

先认清 DecodeRune 的三个返回状态

DecodeRune 从切片开头解码一个 UTF-8 编码，并返回 rune 以及它占用的字节数。非空且合法时，ASCII 字符通常占 1 字节，中文等字符可能占 3 字节；非空但编码非法时，返回替代字符 RuneError 和宽度 1；输入为空时，宽度才是 0。

这里的 size 比 rune 更适合作为扫描器的控制信号。因为合法的 RuneError 本身是一个有效 Unicode 字符，使用 UTF-8 编码时占 3 个字节；在当前问题范围内，可以用 r == utf8.RuneError && size == 1 识别非法单元，而不能只写 r == utf8.RuneError。

把 size 作为扫描游标的唯一前进量

错误循环通常长这样：读取 data[offset:] 后发现 RuneError，记录一次错误，却没有更新 offset。下一轮仍然从同一个非法字节开始，结果既不会到达后面的合法内容，也不会让 len(data)-offset 变小。

package main

import (
    "fmt"
    "unicode/utf8"
)

func scan(data []byte) {
    for offset := 0; offset 

这个循环不需要为非法字节单独写一条“跳过一个字节”的分支，因为 DecodeRune 已经把消费宽度返回在 size 中。统一执行 offset += size 可以同时覆盖 ASCII、多字节字符和非法字节；循环条件则保证不会对空切片调用解码。

封装一个不会卡住的字节扫描器

如果后续还要统计非法单元的位置，可以把每轮结果收集成结构体。关键仍然只有两个判断：size == 0 表示没有可消费的输入，size == 1 且 rune 是 RuneError 表示当前字节非法。为了让示例保持在“游标如何前进”的范围内，下面只记录偏移、宽度和非法标记。

package main

import "unicode/utf8"

type Unit struct {
    Offset  int
    Size    int
    Invalid bool
}

func decodeUnits(data []byte) []Unit {
    units := make([]Unit, 0, len(data))
    for offset := 0; offset 

返回的 Offset 是原始字节切片中的位置，而不是第几个 Unicode 字符。遇到三字节中文后，下一项的偏移会增加 3；遇到坏字节后只增加 1。这正是处理混合输入时需要保留的定位信息。

用混合输入检查边界

下面构造一段包含 ASCII、合法中文和非法字节的输入。示例只观察扫描结果，不对非法内容做替换或修复。

package main

import "fmt"

func main() {
    data := []byte{'A', 0xe4, 0xb8, 0xad, 0xff, 'Z'}
    // 逐项打印字节偏移，观察中文占 3 字节、非法字节占 1 字节。
    for _, unit := range decodeUnits(data) {
        fmt.Printf("offset=%d size=%d invalid=%t\n", unit.Offset, unit.Size, unit.Invalid)
    }
}

按字节位置看，A 从 0 开始占 1 字节；中文从 1 开始占 3 字节；非法的 0xff 位于 4，返回宽度 1；最后的 Z 位于 5。只要每轮都按 size 前进，扫描就会继续到末尾。

几个容易写错的判断

常见问题

为什么非法 UTF-8 的 size 是 1？

因为当前输入的第一个字节无法组成有效编码，函数把它作为一个宽度为 1 的错误单元返回。扫描器消费这个字节后，才能继续判断后面的内容。

空切片需要调用 DecodeRune 吗？

可以调用，但返回的是 (RuneError, 0)。更清晰的扫描代码通常先用 offset 控制循环，让空输入直接结束。

能不能用 range 代替这个扫描循环？

如果只需要遍历字符串中的 rune，range 会自动处理字节步长；但当你要记录非法字节的原始偏移、消费宽度或逐项诊断 []byte 时，显式使用 DecodeRune 更容易表达这些信息。

遇到 RuneError 就一定代表输入非法吗？

不一定。合法的 U+FFFD 也会解码成 RuneError，所以在本文的扫描判断中必须同时看 size == 1。

把 size 当作扫描器唯一的前进量，就能把空输入、合法多字节字符和非法字节放进同一个循环模型中。排查“循环不前”时，先打印当前偏移和 size，通常比继续围绕 RuneError 做字符串判断更快定位问题。