Go unicode.IsMark 怎样区分组合音标与普通字母

unicode.IsMark 判断的是一个 rune 是否属于 Unicode 的 Mark 类别 M，不是判断字符串“看起来有没有音标”。因此，预组字符 é 只有一个字母 rune，通常不会因为视觉上带重音就被判定为 Mark；而由字母和组合重音组成的 e\u0301 会在遍历时得到一个字母 rune 和一个 Mark rune。

官方文档：https://pkg.go.dev/unicode#IsMark

下面按“分类对象、遍历方式、边界解释”拆开说明，重点是让分类结果能用于日志、搜索预处理或输入排查，而不是把它误当成完整的用户感知字符切分器。

IsMark 判断的到底是什么

Go 的 unicode 包把 Unicode 类别 M 暴露为 unicode.Mark，并提供 unicode.IsMark(r) 判断单个 rune。M 类别又分成三个常见子类：

这三个子类都属于 M，所以 IsMark 只回答“是否属于 Mark”，不会告诉你具体是 Mn、Mc 还是 Me。需要更细分类时，可以对 unicode.Mn、unicode.Mc、unicode.Me 分别调用 unicode.Is。

先按 rune 遍历，不要按字节猜字符

Go 字符串保存的是 UTF-8 字节。组合音标通常占多个字节，一个用户看到的文字片段也可能由多个 rune 组成。用 range 遍历字符串时，索引是当前 rune 在原始字符串中的字节偏移，第二个值才是解码后的 rune。

package main

import (
    "fmt"
    "unicode"
)

func printMarks(text string) {
    // range 会按 UTF-8 解码；offset 是字节偏移，不是第几个 rune。
    for offset, r := range text {
        if unicode.IsMark(r) {
            // 用 %U 输出码点，用 %q 保留可读的 rune 形式。
            fmt.Printf("offset=%d rune=%U value=%q category=M\n", offset, r, r)
        }
    }
}

func main() {
    // 这里是字母 e 加组合重音，不是单个预组字母 é。
    printMarks("e\u0301")
}

这段函数适合做“字符串里哪些 rune 属于 Mark”的定位。它不承诺 Mark 一定紧跟着一个合法的基字符，也不把相邻的字母和 Mark 自动合成为一个新的字符串。

预组字符和组合序列不能只看外观

下面四类样本可能在屏幕上接近，但对 IsMark 来说，判断对象和结果不同：

所以，若需求是“删除所有组合标记”，可以在 rune 层过滤；若需求是“把视觉上相同的文本统一起来”，就不能只调用 IsMark。前者是类别过滤，后者涉及正规化策略、编码约定以及业务对等价文本的定义。

区分子类时用 RangeTable

日志或诊断中有时还需要知道 Mark 的子类。unicode.Is 接收一个 *unicode.RangeTable 和 rune，可以把“是否属于 M”进一步拆成 Mn、Mc、Me。

package markinfo

import "unicode"

// Kind 返回 Mark 的细分类别；普通字母和其他 rune 返回空字符串。
func Kind(r rune) string {
    // 先判断最窄的表，避免把非 Mark 字符误标成组合标记。
    switch {
    case unicode.Is(unicode.Mn, r):
        return "Mn-nonspacing"
    case unicode.Is(unicode.Mc, r):
        return "Mc-spacing-combining"
    case unicode.Is(unicode.Me, r):
        return "Me-enclosing"
    default:
        return ""
    }
}

这个函数的返回值是应用层标签，不是 Go 标准库新增的名称。若只关心“是不是 Mark”，直接用 unicode.IsMark 更清楚；只有需要记录子类或按子类分流时，才值得保留这层细分。

非法 UTF-8 时不要把 RuneError 当成 Mark

range 遇到非法 UTF-8 字节会产生替换 rune U+FFFD，并继续向后移动。替换 rune 不属于 Mark，因此“没有发现 Mark”不能推出“输入完全合法”。如果输入来自文件、网络或用户提交，应在分类前明确处理编码有效性。

package markinfo

import (
    "fmt"
    "unicode"
    "unicode/utf8"
)

// FirstMark 返回第一个 Mark 的字节偏移，并拒绝非法 UTF-8 输入。
func FirstMark(text string) (int, rune, error) {
    // 先做编码层判断，避免把替换 rune 当成正常分类结果。
    if !utf8.ValidString(text) {
        return 0, 0, fmt.Errorf("输入不是合法 UTF-8")
    }
    for offset, r := range text {
        if unicode.IsMark(r) {
            // offset 仍是原字符串的字节偏移，便于回到原始数据定位。
            return offset, r, nil
        }
    }
    return -1, 0, nil
}

返回 -1, 0, nil 表示输入合法但没有 Mark；返回 error 表示编码层已经不满足函数前提。把这两种情况分开，排查“组合音标没有被识别”时会比只看一个布尔值更可靠。

IsMark 不等于字素簇或正规化

最容易出现的误用，是把 unicode.IsMark 当成“用户看到的一个字符”的识别器。一个用户感知字符可能包含基字符、多个 Mark、连接符或其他扩展序列；Mark 只是其中一种 Unicode 类别。仅按 Mark 过滤或切分，可能把一个视觉单元拆开。

同样，IsMark 也不会把 é 拆成 e 加组合重音，或把 e\u0301 合成预组字符。若需求是文本比较、搜索折叠或规范化，应先写清楚业务规则，再选择相应的正规化或分词方案；不要因为两个字符串显示相似，就把 Mark 分类结果当成等价性证明。

用这张决策表判断是否该用 IsMark

如果只是给日志加标签，第一行通常已经足够；如果要修改、截断或比较文本，先把字符边界和等价规则写进需求，再决定是否把 Mark 作为其中一个信号。

常见问题

普通汉字会被 IsMark 判定为 true 吗？

普通汉字通常属于 Letter 的其他子类，不属于 M。代码应以 rune 的实际 Unicode 类别为准，不能用“非 ASCII”替代 Mark 判断。

把所有 Mark 删除就能去掉重音吗？

只对已经拆成基字符加组合 Mark 的输入，这种过滤可能去掉部分附加标记；预组字符不会因此自动拆开。并且删除 Mark 可能改变原文语义，不应作为无条件的清洗步骤。

range 的 offset 能直接当字符下标吗？

不能。它是 UTF-8 字节偏移，适合切回原始字节位置；如果需要第几个 rune，要自行计数，若需要用户感知字符边界，则还需要更高层的文本处理规则。

记住三点：IsMark 判断单个 rune 的 M 类别；组合字符要按 rune 遍历并结合字节偏移解释；Mark 分类既不等于 UTF-8 有效性，也不等于正规化或用户感知字符切分。

技术参考：https://pkg.go.dev/unicode#IsMark；https://go.dev/src/unicode/graphic.go；https://go.dev/src/unicode/tables.go。