regexp FindAllStringIndex 如何处理 UTF-8 字节偏移

先给结论：regexp.FindAllStringIndex 返回的是原始 Go 字符串的字节偏移，每两个整数表示一个左闭右开区间 [start, end)。它不是 []rune 下标，也不是字符数。中文、表情等多字节字符出现时，两个数字可能比读者看到的字符位置大。

因此，截取匹配文本时直接使用 text[start:end]；只有需要展示“第几个字符”时，才把前缀换算成 Rune 数。下面按一个自动化处理流水线，把这两个概念分开。

官方资料：https://pkg.go.dev/regexp#Regexp.FindAllStringIndex

先确认 FindAllStringIndex 的偏移单位

假设输入包含中文和 ASCII。正则引擎按 UTF-8 文本匹配，但返回区间仍然定位在原字符串的字节序列中：

package main

import (
    "fmt"
    "regexp"
)

func main() {
    text := "Go语言与UTF-8"
    re := regexp.MustCompile(`语言|UTF-8`)

    // 每个 pair 都是原字符串中的字节区间：[开始偏移, 结束偏移)。
    for _, pair := range re.FindAllStringIndex(text, -1) {
        fmt.Printf("[%d, %d) %q\n", pair[0], pair[1], text[pair[0]:pair[1]])
    }
}

这里的关键不是记住某个固定数字，而是理解区间的单位：start 和 end 可以直接传给字符串切片。FindAllStringIndex 的第二个参数为 -1 时表示查找全部匹配；传入正数则限制匹配数量。

把匹配区间直接交给字符串切片

匹配结果要进入高亮、替换或索引表时，最好保留原字符串和字节区间，不要先转成 []rune 再拿同一组数字去切：

func matchedText(text string, re *regexp.Regexp) []string {
    spans := re.FindAllStringIndex(text, -1)
    result := make([]string, 0, len(spans))

    for _, span := range spans {
        // regexp 返回的边界可直接用于原字符串切片。
        result = append(result, text[span[0]:span[1]])
    }
    return result
}

常见错误是写成 []rune(text)[span[0]:span[1]]。例如一个汉字通常占 3 个字节，但只占 1 个 Rune；这样会把字节偏移当成字符下标，轻则截取范围错误，重则越界。要做字符级操作，应另建一套 Rune 下标。

需要字符序号时，再把前缀换算成 Rune

日志、编辑器标记或用户提示有时需要“第几个字符”。这时可以对区间前面的字节前缀调用 utf8.RuneCountInString，但仍保留原始字节区间用于切片：

import (
    "regexp"
    "unicode/utf8"
)

type MatchPosition struct {
    ByteStart int
    ByteEnd   int
    RuneStart int
    RuneEnd   int
}

func positions(text string, re *regexp.Regexp) []MatchPosition {
    spans := re.FindAllStringIndex(text, -1)
    result := make([]MatchPosition, 0, len(spans))

    for _, span := range spans {
        // 只有展示字符序号时才统计前缀 Rune 数，避免混用单位。
        result = append(result, MatchPosition{
            ByteStart: span[0],
            ByteEnd:   span[1],
            RuneStart: utf8.RuneCountInString(text[:span[0]]),
            RuneEnd:   utf8.RuneCountInString(text[:span[1]]),
        })
    }
    return result
}

这种结构让下游明确知道每个字段的单位：替换和切片使用 ByteStart/ByteEnd，界面显示或字符计数使用 RuneStart/RuneEnd。如果还要计算屏幕列号，则要另外考虑制表符和全角字符，不能把 Rune 数直接当视觉列数。

把偏移处理放进自动化工作流

在批量高亮或文本抽取任务中，可以把流程拆成“触发输入—匹配—偏移门禁—下游动作”四段。门禁只检查区间是否仍属于当前原字符串，避免下游处理了已经被改写的文本：

func validSpan(text string, span []int) bool {
    // FindAllStringIndex 正常返回两个元素，这里仍保留输入防御。
    return len(span) == 2 && span[0] >= 0 && span[0] 

这套写法适合把匹配结果交给多个步骤：匹配阶段只产生 byte 区间，转换阶段决定是否需要 Rune 位置，通知阶段只消费已经切好的字符串。不要在中间阶段修改 text 后继续复用旧区间；要么最后统一替换，要么每次修改后重新匹配。

空匹配、无匹配和 UTF-8 边界

FindAllStringIndex 没有匹配时返回 nil，可以直接用 len(matches) == 0 判断。允许空匹配的表达式可能返回 start == end 的区间，这不是错误，但切片结果为空，业务上通常需要单独过滤。

还要记住三条边界：

• 字节偏移只对产生它的那一个字符串有效，不能拿到另一个字符串上复用。
• 原文保持不变时，区间可以安全切片；原文发生替换、拼接或重新编码后，应重新执行匹配。
• 需要字符序号就统计 Rune，需要屏幕列号就建立显示宽度规则，三者不要互相替代。

常见问题

为什么中文匹配的结束位置看起来偏大？

因为返回值按字节计数，一个中文 Rune 通常占多个 UTF-8 字节。这个数字偏大是正常的，直接用于原字符串切片即可。

什么时候应该使用 FindAllStringSubmatchIndex？

需要同时取得捕获组区间时使用它；如果只关心完整匹配的开始和结束位置，FindAllStringIndex 更简单。

总结：把正则结果当作原字符串上的 byte 区间保存；切片使用 byte 区间；展示字符位置时单独换算 Rune。只要在数据结构和流水线门禁里写清单位，UTF-8 文本就不会因为索引混用而错位。