JiWER 怎样让参考文本与识别文本使用相同正规化规则

在语音识别评估里，参考文本和识别文本经常只是标点、空格、大小写或词形写法不同。如果只清理其中一侧，JiWER 看到的就不是同一套比较对象，WER 结果会把“格式差异”也算进识别错误。更稳妥的做法是：用 jiwer.Compose 集中定义正规化链路，把同一个变换对象同时传给 reference_transform 和 hypothesis_transform。

官方地址：https://jitsi.github.io/jiwer/usage/

为什么两段文本必须走同一条正规化链路

假设参考文本写成 I'm ready，识别文本写成 i am ready。如果参考文本展开缩写、识别文本却不处理，或者一侧去掉标点而另一侧保留，指标计算会混入预处理差异。这里的正规化不是“把识别结果改成正确答案”，而是提前约定两种文本都忽略哪些表达层面的差别。

JiWER 的变换对象会接收字符串或字符串列表，并把文本逐步转换成适合计算的结构。官方变换文档还特别说明，词错误率的链路最后需要产生词列表，字符错误率的链路最后需要产生字符列表。因此，真正重要的是两件事：两侧使用同一套规则；链路末尾与指标粒度匹配。

用 Compose 把清理规则集中起来

最小做法是先创建一个 Compose，把空格清理、首尾空白处理和词表转换按固定顺序放进去。下面的示例只演示 WER 场景，链路最后使用词列表转换；代码中的规则对象可以按项目的标注习惯继续扩展。

import jiwer

# 参考文本和识别文本共用这一条规则链，避免两侧配置逐渐分叉。
shared_transform = jiwer.Compose([
    jiwer.RemoveMultipleSpaces(),
    jiwer.Strip(),
    jiwer.ToLowerCase(),
    # WER 需要以词列表作为最终输入结构。
    jiwer.ReduceToListOfListOfWords(),
])

reference = "  Hello   World  "
hypothesis = "hello world"

# 同一个对象同时处理两侧，保证清理动作和顺序一致。
result = jiwer.process_words(
    reference,
    hypothesis,
    reference_transform=shared_transform,
    hypothesis_transform=shared_transform,
)

print(result.wer)

这里的关键不是把 WER 设成某个固定数值，而是让两侧在进入比较前拥有相同的词级表示。Strip 负责首尾空白，RemoveMultipleSpaces 负责连续空格，ToLowerCase 统一大小写；它们的先后顺序要写在一个地方，后续调整时也只改这个对象。

把同一个变换对象传给两个参数

process_words 提供了 reference_transform 和 hypothesis_transform 两个参数。最容易维护的写法是让它们指向同一个 tr。这能把“规则相同”从口头约定变成调用处的明确关系。

import jiwer

# 这里集中放项目认可的文本差异处理规则。
tr = jiwer.Compose([
    jiwer.RemovePunctuation(),
    jiwer.SubstituteWords({"colour": "color"}),
    jiwer.ReduceToListOfListOfWords(),
])

reference = "Colour is bright."
hypothesis = "color is bright"

# 两个参数复用同一个 tr，避免只修改一侧造成指标漂移。
output = jiwer.process_words(
    reference,
    hypothesis,
    reference_transform=tr,
    hypothesis_transform=tr,
)

print(output.wer)

如果项目有更复杂的替换，例如正则表达式替换或专有词归一化，也建议继续放进 Compose，不要在调用 process_words 前分别手工改写两段输入。这样查看一处配置就能知道本次评估忽略了哪些差异。

WER、CER 和多句文本要选对收尾转换器

Compose 的最后一步决定后面的比较粒度。需要词错误率时，使用 ReduceToListOfListOfWords()；需要字符错误率时，使用 ReduceToListOfListOfChars()。不要把词级收尾器和字符级指标混在同一条链路里。

import jiwer

sentences_ref = ["the microphone is ready", "start recording"]
sentences_hyp = ["the microphone is ready", "start record"]

# CER 使用字符列表收尾；两侧仍然共享同一个变换对象。
cer_transform = jiwer.Compose([
    jiwer.RemoveMultipleSpaces(),
    jiwer.Strip(),
    jiwer.ToLowerCase(),
    jiwer.ReduceToListOfListOfChars(),
])

cer_result = jiwer.process_characters(
    sentences_ref,
    sentences_hyp,
    reference_transform=cer_transform,
    hypothesis_transform=cer_transform,
)

print(cer_result.cer)

多句输入时，两侧的句子边界也应该有一致约定。若评估数据在不同来源之间无法保持句子数量一致，可以根据任务需求考虑把文本合并成单句再比较，但这会改变对齐语义，不能把它当成无损的格式清理。

把正规化规则当成评估配置管理

当项目开始维护多个数据集或多个识别模型时，最危险的不是少写一个变换，而是复制出两份看似相同、后来却分别修改的变换。可以用下面的清单做配置收口：

最后还要保留原始文本。正规化对象用于评估输入，不应覆盖标注文件或识别原文；当指标异常时，只有同时保留原文、变换配置和指标结果，才能判断问题来自模型、文本处理还是数据边界。

常见问题

可以只给 hypothesis_transform 传正规化规则吗？

可以调用，但不适合作为两侧公平比较的默认方案。除非任务明确要求只处理识别文本，否则参考文本也应使用同一规则。

Compose 的最后一步为什么不能随便写？

因为 WER 和 CER 需要不同的输入粒度。词错误率通常收尾为词列表，字符错误率收尾为字符列表；末尾类型与指标不匹配时，比较语义就不清楚。

复制两份相同的 Compose 配置行不行？

短脚本里可以，但长期项目更建议复用一个对象或一个返回变换对象的工厂函数。复用能让规则变更集中发生，也更容易在评估记录中说明使用了哪套配置。