语音识别分段怎样按时间戳拼回完整文本

语音识别接口返回的通常不是一段完整字符串，而是一组带 start、end 和 text 的分段。直接按数组顺序拼接，最容易遇到两类问题：接口分页或并行处理后顺序被打乱；相邻分段有几百毫秒重叠，连接处出现重复词。

这篇只处理“怎样把分段拼回文本”，不讨论模型本身的识别准确率。Hugging Face 的 ASR 文档把音频输入映射为文本输出，具体模型可能通过 pipeline 返回整段文本，也可能由应用层保存更细的时间信息。官方参考地址：https://huggingface.co/docs/transformers/main/en/tasks/asr

稳妥的做法是先按开始时间排序，再用时间重叠决定拼接分支，最后只对“前段后缀等于后段前缀”的确定重复做去重；无法确定时宁可保留文本并标记复查。

问题现场：为什么直接 join 会重复

假设识别器给出下面三段结果，第二段比第一段早结束前就开始了：

[
  {"start": 0.00, "end": 3.40, "text": "今天我们讨论分段拼接"},
  {"start": 3.10, "end": 6.20, "text": "讨论分段拼接，先看时间戳"},
  {"start": 6.35, "end": 8.10, "text": "再处理文本重复"}
]

如果把三段的 text 直接相加，结果会变成“今天我们讨论分段拼接讨论分段拼接，先看时间戳再处理文本重复”。这里的 3.10 到 3.40 只能说明音频窗口重叠，并不能精确告诉我们重复了几个字，所以需要把时间判断和文本判断拆开。

初步判断：先固定一条可排序的时间线

第一步只做确定性工作：去掉空文本、忽略结束时间不大于开始时间的坏段，再按 start 升序排列。不要默认服务端返回顺序就是音频顺序，也不要用文本长度去推算时间位置。

动手验证：用时间重叠选择拼接规则

下面的最小实现把“时间接近”当作分支信号，把“字符重复”当作实际去重条件。time_tolerance 只吸收浮点误差，不能随意调成几秒，否则会把真实停顿吞掉。

from dataclasses import dataclass
import re

@dataclass(frozen=True)
class Segment:
    start: float
    end: float
    text: str

def longest_suffix_prefix(left: str, right: str, minimum: int = 2) -> int:
    # 只寻找前段末尾与后段开头的连续重复，避免凭时间长度猜字数。
    limit = min(len(left), len(right), 40)
    for size in range(limit, minimum - 1, -1):
        if left[-size:] == right[:size]:
            return size
    return 0

def glue(left: str, right: str) -> str:
    # 中文相邻片段不强行插入空格，英文或数字片段之间保留可读间隔。
    if not left:
        return right
    if re.search(r"[\u4e00-\u9fff]$", left) and re.match(r"[\u4e00-\u9fff]", right):
        return left + right
    return left.rstrip() + " " + right.lstrip()

def merge_segments(segments: list[Segment], time_tolerance: float = 0.08) -> str:
    # 过滤空段和非法时间，再按开始时间建立稳定顺序。
    ordered = sorted(
        (s for s in segments if s.text.strip() and s.end > s.start),
        key=lambda s: (s.start, s.end),
    )
    result = ""
    cursor_end = 0.0
    for segment in ordered:
        text = segment.text.strip()
        if not result:
            result = text
        elif segment.start 

这段代码的关键不是某个固定阈值，而是两层判断：时间有重叠才进入去重分支，文本有明确前后缀重复才裁剪。对于英文词间空格、中文标点和模型特殊标记，生产代码还应按自己的输出格式扩展 glue。

定位原因：重叠不等于重复，复查这三种边界

第一种是正常间隔：next.start >= cursor_end - tolerance，直接追加即可。第二种是窗口重叠且文本前后缀相同，才裁掉重复片段。第三种是窗口重叠但文本完全不同，这可能是识别结果修正、不同解码窗口或时间戳粗粒度造成的，代码应保留内容并记录一条可复查信息，而不是静默删除。

还要特别检查乱序段、重复段和跨句边界。若接口同时提供 word-level 或 character-level 时间戳，应优先使用更细的时间信息；只有 segment-level 时间戳时，本文的前后缀规则才是一个保守的拼接策略。

验证结果：用固定样本确认没有吞字

建议至少准备四组回归样本：无重叠的连续段、带明确重复前后缀的重叠段、重叠但文本不同的段、包含空段和乱序段的输入。检查点不是“字符串看起来更短”，而是：顺序正确、确定重复只出现一次、不确定内容仍在、停顿没有被错误删除。

总之，语音识别分段拼接不是简单的数组 join：先建立时间线，再判断重叠，最后用可解释的文本规则去重。把不确定情况留下记录，后续换模型或换分段策略时，回归样本也能继续复用。

相关问题

时间戳有轻微交叉但文本没有重复怎么办？

保留两段文本，只把交叉视为窗口重叠信号。可以记录重叠时长，先不要按时长裁字。

为什么不能直接按 end 时间排序？

多个窗口可能有不同长度，按 end 排序会让较晚开始但较早结束的段落插到错误位置。恢复原始时间线时应优先按 start 排序。