Go uniseg 怎样在文本中提取 Unicode 单词边界

Go 里如果要按 Unicode 规则提取文本片段，不要直接按字节或单个 rune 猜测“单词”。github.com/rivo/uniseg 提供了 FirstWordInString，可以沿着字符串连续取得一个个由 Unicode 单词边界分开的片段；每次调用返回当前片段、剩余字符串和下一次要继续使用的状态。

官方地址：https://pkg.go.dev/github.com/rivo/uniseg

最小用法是把初始状态设为 -1，之后把上一次返回的 rest 和 state 原样传回去。要注意，库返回的不一定都是字母组成的词：空格、逗号、感叹号等也可能分别成为边界片段。这样做的好处是边界信息不会被简单的 ASCII 规则悄悄丢掉。

先理解 uniseg 返回的是什么

Unicode Standard Annex #29 把分段描述为寻找边界，而不是简单地把字符串按空格切开。uniseg 的 FirstWordInString 每次从当前字符串起点取出一个片段，返回值可以理解为：

空字符串会返回空结果；第一次调用不知道前置状态时传 -1 即可。后续调用不要重新传 -1，否则会让每一轮都像从新文本开头判断，连续分段的语义就不再稳定。

用 FirstWordInString 连续提取片段

下面的辅助函数保留所有边界片段，适合先观察分段结果，再决定是否过滤空格和标点：

package main

import (
	"fmt"

	"github.com/rivo/uniseg"
)

// splitWordBoundaries 按 Unicode 单词边界连续消费字符串。
// state 在循环中延续，rest 则指向尚未处理的后缀。
func splitWordBoundaries(input string) []string {
	var parts []string
	state := -1
	for len(input) > 0 {
		var part string
		part, input, state = uniseg.FirstWordInString(input, state)
		if part == "" {
			break // 兜底处理空结果，避免异常输入造成无进展循环。
		}
		parts = append(parts, part)
	}
	return parts
}

func main() {
	// 示例同时包含英文、空格、标点和带重音符号的字符。
	fmt.Printf("%q\n", splitWordBoundaries("Hello, Käse!"))
}

这个写法的重点不是把返回值命名成 word，而是把它当作“当前边界片段”。官方示例中，Hello, world! 会拆成 Hello、逗号、空格、world 和感叹号等片段。若业务只要可搜索词，可以在循环外另行过滤空白和标点；不要为了得到更短的数组而破坏分段过程。

需要真正的词时再做业务过滤

Unicode 单词边界和业务词法不是同一个概念。搜索索引可能想保留带连字符的标识符，日志分析可能要去掉所有标点，而中文检索通常还需要分词词典。uniseg 先提供稳定的边界片段，业务层再决定哪些片段进入索引。

// collectSearchTokens 只保留包含字母或数字的片段。
// Unicode 类别判断放在业务层，避免把边界库误当成完整分词器。
func collectSearchTokens(parts []string) []string {
	var tokens []string
	for _, part := range parts {
		keep := false
		for _, r := range part {
			if unicode.IsLetter(r) || unicode.IsNumber(r) {
				keep = true
				break
			}
		}
		if keep {
			tokens = append(tokens, part)
		}
	}
	return tokens
}

示例省略了完整导入列表，实际文件需要额外导入标准库的 unicode。过滤规则要按产品需求调整：如果标识符中的下划线、连字符或表情符号有业务意义，就不能简单地只保留字母和数字。

FirstWordInString 与 Graphemes 怎么选

只需要单词边界时，FirstWordInString 更直接：输入、片段、剩余字符串和状态都在函数返回值中明确表达。若同一轮还要处理用户感知字符、句子边界、换行能力或等宽显示宽度，可以使用 NewGraphemes 创建迭代器，再在 Next 后读取相应信息。

// inspectGraphemes 同时读取片段文本和单词边界标志。
// Next 必须先调用，Str 与 IsWordBoundary 才对应当前 grapheme。
func inspectGraphemes(input string) {
	g := uniseg.NewGraphemes(input)
	for g.Next() {
		fmt.Printf("%q boundary=%v\n", g.Str(), g.IsWordBoundary())
	}
}

两者的粒度不同：专用函数把“边界之间的片段”作为返回值；Graphemes 以用户感知字符为迭代单位，同时暴露单词、句子和换行信息。包含组合字符或 emoji 时，不要用 len 或逐 rune 切片来代替 grapheme 处理。

中英文混排和中文分词的边界

UAX #29 的默认规则可以帮助确定许多 Unicode 文本边界，但它不是面向中文搜索的词典分词器。Unicode 规范也明确指出，中文、日文、泰文等语言的可靠词边界可能需要字典或其他定制机制。因此，Go uniseg 适合做统一的 Unicode 边界底座，不应被宣传成“调用一次就完成中文分词”。

在中英文混排场景里，可以先用 uniseg 获得稳定片段，再对中文片段接入业务词典；如果需求只是避免切断组合字符、识别英文和数字片段，直接使用专用函数往往已经足够。

常见误区与结论

1. 把 word 当成只含字母的词：空格和标点也可能是合法边界片段，过滤应放到业务层。
2. 每轮都把 state 设为 -1：连续调用必须沿用上一次的 newState。
3. 只检查 len：字节数不等于用户感知字符数，组合字符和 emoji 需要 grapheme 语义。
4. 把 Unicode 边界当成中文分词：中文检索仍可能需要词典、领域词表或定制规则。

一句话总结：只做 Unicode 单词边界切分时，用 FirstWordInString 传入 -1 初始化状态，再循环消费 rest 并沿用 newState；需要同时观察 grapheme、句子或换行信息时，再选择 Graphemes 迭代器。

相关问题

为什么返回结果里有空格和标点？

因为函数暴露的是 Unicode 单词边界之间的片段，而不是已经替业务过滤好的 token。这样调用方可以自行决定是否保留分隔符。

能不能只调用一次 FirstWordInString？

一次调用只能得到当前起点的片段。要处理完整字符串，需要把返回的 rest 与 state 传给下一轮，直到 rest 为空。

中文文本可以直接得到搜索词吗？

不能把默认 Unicode 边界等同于中文词典分词。需要搜索词时，应在 uniseg 的边界结果之上增加中文词典或业务规则。

资料来源：https://pkg.go.dev/github.com/rivo/uniseg；https://raw.githubusercontent.com/rivo/uniseg/master/word.go；https://unicode.org/reports/tr29/