Go unicode.IsMark 怎样识别字符串中的组合附加符号

处理多语言用户名、搜索词或文本清洗时，单看 len(s) 和 unicode.IsLetter 不够：一个可见字符可能由基础字母和后续的组合附加符号共同组成。Go 标准库里的 unicode.IsMark 专门判断一个 rune 是否属于 Unicode 的 Mark（M）类别。实际使用时，用 range 扫描字符串，再对每个 rune 调用它即可。

官方文档地址：https://pkg.go.dev/unicode#IsMark

结论：unicode.IsMark(r) 只回答“这个 rune 是否是 Mark 类字符”，不会替你做 Unicode 规范化、字形合成或视觉字符计数。

IsMark 判断的到底是什么

IsMark 的参数是单个 rune，返回值是布尔值。官方定义中的 Mark 对应 Unicode 类别 M，常见用途是识别附着在基础字符附近的组合标记。它和“是否为字母”是两套分类：基础字母可以通过 IsLetter 判断，附加标记则要看 IsMark。

因此不要把它写成字符串级别的“是否包含重音字符”判断。字符串需要先按 rune 遍历；同时，Mark 只是类别信息，不能据此推断最终屏幕上会显示几个字形。

用 range 找出组合附加符号

最稳妥的入口是对字符串使用 range。循环变量中的索引是 UTF-8 字节偏移，第二个变量才是当前 rune；保留索引时不要误以为它是字符序号。

package main

import (
    "fmt"
    "unicode"
)

func main() {
    text := "Cafe\u0301 Go"
    for byteIndex, r := range text {
        // byteIndex 是 UTF-8 字节偏移，r 才是当前 Unicode 码点。
        if unicode.IsMark(r) {
            // Mark 是组合附加符号类别；这里记录它的字节位置和 rune。
            fmt.Printf("mark at byte %d: %U\\n", byteIndex, r)
        }
    }
}

这个例子只负责定位 Mark。若需要把它从字符串中删除，可以在新的 []rune 或 strings.Builder 中跳过该 rune；但删除组合标记会改变文本含义，应该先确认业务确实需要这种清洗。

不要用 IsLetter 代替 IsMark

一个分类函数只覆盖自己的 Unicode 类别。下面的判断适合做文本扫描器的分支：字母、Mark、数字和标点分别处理，最后再用 IsGraphic 作为更宽的“可见图形字符”判断。

func classify(r rune) string {
    // 先判断更具体的类别，避免只得到一个过于宽泛的结论。
    switch {
    case unicode.IsMark(r):
        return "mark"
    case unicode.IsLetter(r):
        return "letter"
    case unicode.IsNumber(r):
        return "number"
    case unicode.IsPunct(r):
        return "punctuation"
    case unicode.IsGraphic(r):
        // Graphic 还包含符号、空格等，不等同于字母或 Mark。
        return "graphic-other"
    default:
        return "control-or-non-graphic"
    }
}

分支顺序表达的是业务标签优先级，而不是 Unicode 类别的继承关系。IsGraphic 是较宽的集合判断，适合兜底，不应拿它替代 IsMark。

三个容易混淆的边界

• 字节、rune 和视觉字符不是一回事：range 的索引按字节计，Mark 判断按 rune 计，屏幕上的字形数量还涉及字体和组合规则。
• 分类不等于规范化：IsMark 不会把分解形式合成为预组字符，也不会重排 Unicode 序列。
• 清洗要保留语义：只为统计或定位时不要修改原文；只有业务明确要求去除附加符号时，才在新缓冲区里过滤。

如果你的目标是统计用户感知的字素簇、执行 NFC/NFD 规范化或进行本地化文本比较，应继续选择专门的 Unicode 文本处理方案，而不是把 IsMark 当成完整解决方案。

常见问题

IsMark 可以直接接收字符串吗？不可以，它接收一个 rune。字符串要先通过 range 或其他解码方式逐个取得 rune。

range 的索引为什么会跳跃？因为索引是 UTF-8 字节偏移，非 ASCII rune 通常占用多个字节；如果需要连续序号，应在循环外单独维护计数器。

判断为 Mark 后能否直接删除？技术上可以在新缓冲区中跳过它，但这可能改变用户看到的文本含义，删除前应明确产品规则。

简要记忆：IsMark 负责一个 rune 的 M 类别判断，range 负责把字符串拆成可判断的 rune；两者结合适合定位和分类，不负责规范化或视觉字符计数。