Whisper 音频分段与时间戳对齐的工程方案

Whisper 做短音频转写时很容易得到一份看似正常的结果；一旦音频超过单次上下文，真正难的是把每个窗口里的局部时间戳接回同一条全局时间轴。工程上应先固定音频坐标，再用 30 秒上下文窗口和少量重叠保留边界语境，最后把局部 segment 或 word 时间加上窗口偏移，并对重叠区域做一次确定性的去重。

官方资料：https://github.com/openai/whisper　Transformers 文档：https://huggingface.co/docs/transformers/model_doc/whisper

字幕级交付优先使用 segment 时间戳；需要逐词高亮、检索或点击回放时再使用 word 时间戳。重叠窗口只是上下文缓冲，不是可以直接拼接的两份正文。

先统一采样与全局时间坐标

先约定一条“原始音频时间轴”，所有窗口的起点、模型返回的局部时间和最终字幕都只映射到这条轴上。常见做法是把输入统一为单声道、16 kHz 浮点音频；如果业务必须保留原采样率，也要在分段器里记录重采样比例，不能在不同阶段各自换算。

Whisper 的原始实现围绕约 30 秒的输入上下文处理长音频。窗口不必刚好按自然句子切开，因为模型并不知道你的字幕行规则；重要的是为每个窗口保存 start、end、overlap 和有效区间，之后所有局部时间都用 global = window_start + local 转换。

窗口长度固定，重叠只负责保留边界语境

如果采用 Transformers 的 pipeline，可以把 chunk_length_s 设为 30，并按语音连续性选择小幅 stride_length_s。重叠一般取几秒作为工程起点，再结合说话速度、背景噪声和字幕需求调整；它解决的是句子跨窗口时缺少上下文的问题，不代表两边输出都要保留。

长音频方案至少需要三个边界字段：

不要把 stride 误当成“需要截掉的固定字符数”。边界可能落在一个词的中间，正确做法是先把词或 segment 映射到全局时间，再依据时间区间和文本重合度判断是否重复。若使用 Hugging Face pipeline 的 chunking，要留意官方文档对 seq2seq 长音频分段的说明；对需要更强控制的场景，直接使用模型的长音频生成参数并保存分段信息更容易追溯。

按交付目标选择 segment 或 word 时间戳

return_timestamps=True 适合拿到可读的片段级边界，通常用于 SRT、VTT、章节列表或检索卡片；return_timestamps="word" 适合逐词高亮和点击回放，但结果更细，边界抖动也更容易暴露。OpenAI 原始实现的 word_timestamps 会根据对齐过程给词分配起止时间，不能把它理解成强制对齐工具。

from transformers import pipeline

# 30 秒上下文覆盖长音频；stride 只保留窗口边界的少量语境。
pipe = pipeline(
    "automatic-speech-recognition",
    model="openai/whisper-base",
    chunk_length_s=30,
    stride_length_s=(4, 2),
)

# 片段级适合字幕；逐词需求再把 return_timestamps 改为 "word"。
result = pipe("meeting.wav", return_timestamps=True)
for chunk in result.get("chunks", []):
    start, end = chunk["timestamp"]
    text = chunk["text"].strip()
    if start is not None and end is not None and text:
        print(start, end, text)

这里的参数示例用于说明数据关系，不代表本文在本机执行过模型。生产代码还应保存模型名、语言、任务类型和音频摘要，保证同一批字幕可以追溯到同一组推理配置。

把局部时间映射成全局条目并处理重叠

合并时先做时间映射，再做去重。对每个局部条目加上窗口起点；如果条目完全落在相邻窗口的重叠区，就把它标记为候选，而不是立即删除。随后按时间相交、文本规范化后的相似度和边界归属决定保留哪一条。通常优先保留覆盖更完整、起止更稳定且不跨越有效区间的条目。

def to_global(chunk, window_start):
    """把窗口内时间转换为原音频时间；缺失端点不参与字幕合并。"""
    local_start, local_end = chunk["timestamp"]
    text = chunk["text"].strip()
    if local_start is None or local_end is None or not text:
        return None
    # 保留浮点秒，最后输出字幕时再统一舍入，避免多次取整累积误差。
    return {
        "start": window_start + local_start,
        "end": window_start + local_end,
        "text": text,
    }

def keep_boundary_item(item, valid_start, valid_end):
    # 只让本窗口负责的有效区间进入最终结果，重叠区仍可用于比较。
    return item["end"] > valid_start and item["start"] 

对于逐词结果，可以把重叠候选按时间排序，再用“相邻词时间相交 + 规范化文本相同或高度相似”作为去重条件；对于 segment 结果，则更适合比较片段的时间交集和文本前后缀。不要仅按数组下标删除，因为一个窗口可能多出一个短语，另一个窗口却少识别一个词。

用边界指标复核字幕，而不是只看整段文本

最终复核至少看四类问题：窗口边界是否出现重复词，字幕条目是否单调递增，是否有过长的无声空洞，以及同一句话是否被切成不可读的短条目。把抽样复核放在合并后的全局结果上，而不是只看某个窗口的原始返回。

相关问题

为什么不能直接拼接所有窗口的 chunks？

因为重叠区会重复产生同一段语音，而且相邻窗口的局部时间起点不同。必须先加窗口偏移，再按有效区间和重叠规则合并。

字幕一定要使用 word 时间戳吗？

不一定。字幕更看重可读性和稳定的片段边界；逐词时间适合高亮、检索和点击回放，工程成本与边界抖动也更高。

重叠秒数越大越好吗？

不是。重叠增加会扩大计算量和重复候选，先用较小范围覆盖跨句边界，再依据抽样结果调整，并保持去重规则不变。

参考资料：OpenAI Whisper 官方仓库、Hugging Face Whisper 文档。本文的窗口字段、有效区间与去重规则是面向字幕工程的实现建议，不是模型默认输出的额外保证。