Go x/text/collate CompareString 为什么不同于字节顺序

如果你发现 collate.CompareString 的结果和直接比较 UTF-8 字节不一致，通常不是函数出错，而是两种比较规则本来就不同。字节比较按编码后的数值逐个比较；CompareString 则使用创建 Collator 时指定的语言环境和排序选项，比较 Unicode 文本的 collation 顺序。

官方地址：https://pkg.go.dev/golang.org/x/text/collate

需要按人类语言习惯排序时使用 collate.New 和 CompareString；需要稳定地比较原始编码内容时，才使用字节比较。不要把两者的结果混为一谈。

CompareString 为什么不等于字节比较

Go 字符串本质上保存 UTF-8 字节。直接使用 a ，或者把字符串转成 []byte 后比较，关注的是字节序列本身。这样的规则适合协议字段、哈希前的确定性排序和需要复现编码顺序的场景。

collate.Collator 解决的是另一类问题：把文本放进某个语言环境的排序规则中。字母的重音、大小写、数字片段以及脚本顺序，都可能影响排序权重。因此同一组字符串在字节序和语言排序中的先后关系不一定相同。

先用最小写法固定语言环境

创建比较器时不要只记住“调用 CompareString”，更重要的是先明确排序面向哪种语言或规则。language.English、language.Swedish 等标签会影响比较器使用的排序数据；如果业务只需要默认的 Unicode 规则，也可以显式使用 language.Und。

package main

import (
    "fmt"

    "golang.org/x/text/collate"
    "golang.org/x/text/language"
)

func main() {
    // 比较器的语言标签决定文本排序所依据的规则。
    c := collate.New(language.English)

    // CompareString 只表达先后关系，不应把返回值当作字节差值。
    switch c.CompareString("resume", "résumé") {
    case -1:
        fmt.Println("第一个字符串更靠前")
    case 0:
        fmt.Println("按当前规则等价")
    case 1:
        fmt.Println("第一个字符串更靠后")
    }
}

这个函数的契约是：返回 -1 表示第一个字符串小于第二个，返回 0 表示比较器认为两者相等，返回 +1 表示第一个字符串大于第二个。实际使用时应只依赖负数、零、正数这三个区间，不要假设返回值等于两个字符串的某种数值差。

CompareString 的返回值只代表相对关系

直接比较字符串时，开发者容易把“结果小于零”理解为某个字符编码更小；在 collate 中，比较器可能先比较主排序权重，再处理重音、大小写等次级差异。返回值仍然很简单，但它描述的是当前 Collator 规则下的相对位置。

func before(c *collate.Collator, a, b string) bool {
    // 排序接口只需要知道 a 是否排在 b 前面。
    return c.CompareString(a, b) 

这里的第二个函数尤其容易被误用。业务若要判断原文是否完全相同，仍应使用 a == b；只有要判断它们在当前排序规则下是否处于同一位置时，才使用比较结果是否为零。

大小写、重音和数字要通过 Option 表达

collate 提供了几个用于调整比较行为的选项。例如 IgnoreCase 忽略大小写，IgnoreDiacritics 忽略重音符号，IgnoreWidth 处理全角与半角差异，Numeric 让数字按数值而不是按字符顺序排列。选项会改变比较器语义，应该和业务排序需求一起写清楚。

func sortNames(names []string) {
    // IgnoreCase 适合不区分大小写的展示排序；Numeric 适合版本号片段之外的普通数字文本。
    c := collate.New(
        language.English,
        collate.IgnoreCase,
        collate.Numeric,
    )

    // SortStrings 会直接按当前 Collator 规则调整切片顺序。
    c.SortStrings(names)
}

不要为了得到“看起来更自然”的顺序，先把文本全部转小写或删除重音再比较。这样的预处理可能丢失原文，也会让展示值、去重值和排序值混在一起。把规则交给 Collator，更容易复用和调整。

接入 sort.Sort 时保持同一个 Collator

如果排序对象不是 []string，可以实现 collate.Lister，让 Collator.Sort 读取对象中的文本。关键是整个排序过程使用同一个比较器，不要在每次比较时重新创建语言标签或切换选项。

type Book struct {
    Title string
}

type Books []Book

func (b Books) Len() int { return len(b) }

func (b Books) Swap(i, j int) { b[i], b[j] = b[j], b[i] }

func (b Books) Bytes(i int) []byte {
    // Lister 要求返回待比较文本的字节表示。
    return []byte(b[i].Title)
}

func sortBooks(books Books) {
    // 复用一个固定比较器，确保排序中的每次比较规则一致。
    c := collate.New(language.English, collate.IgnoreCase)
    c.Sort(books)
}

如果只排序字符串切片，优先使用 SortStrings，代码更直接。若需要频繁比较大量重复文本，可以进一步使用 KeyFromString 生成 collation key，再对 key 做缓存；不过 key 的生命周期受 Buffer 影响，不要在重置缓冲区后继续持有旧切片。

什么时候应该使用字节顺序

以下情况通常不需要 collate：

• 协议、缓存键或签名输入要求按原始字节得到稳定顺序。
• 只需要判断两个 UTF-8 字符串是否完全相同。
• 排序规则由外部协议明确定义为字典序或字节序。

以下情况更适合 CompareString：

• 面向用户展示的多语言名称、目录或联系人列表。
• 需要处理重音、大小写、全角半角或数字片段的排序。
• 同一产品需要根据用户语言切换排序规则。

常见误区

总结

CompareString 与字节顺序不同，是因为它们回答的不是同一个问题：前者回答“按指定语言排序时谁在前面”，后者回答“编码后的字节序列谁更小”。先选定业务需要的顺序，再创建带有明确 language.Tag 和选项的 Collator，最后只把比较结果当作相对关系使用，就能避免大多数排序异常。

相关问题

• CompareString 返回 0 能直接用于去重吗？不能。若要判断原字符串相同，使用 ==；返回 0 只表示按当前排序规则等价。
• 为什么不直接用 sort.Strings？sort.Strings 采用字符串的默认字节序；需要语言环境排序时应使用 Collator.SortStrings。
• 需要数字自然排序怎么办？创建比较器时加入 collate.Numeric，并确认这符合字段的业务语义。