RAG 文档切片 overlap 怎么定：按标题层级、token 上限和检索命中做验证

知识库问答最容易被忽略的一步，不是换 embedding 模型，而是切片边界。一个小节被硬切在句子中间时，检索虽然能找到相似词，却可能把定义和限制条件拆开。更稳的做法是先沿着标题层级切出语义块，再用 token 上限收口，最后用真实问题集比较不同 overlap 的检索命中。

chunk overlap 应该从较小值开始，用“关键答案是否完整进入召回结果”来调，而不是凭感觉把重叠比例越设越大。

先按标题层级切，再用 token 上限收口

把 Markdown 文档直接每 500 个字符截断，遇到 API 参数表、故障步骤或“注意事项”时很容易丢上下文。第一轮切片应识别 #、##、### 标题，把标题路径作为元数据保留下来。这样召回到正文时，模型知道这段内容属于哪个产品、哪个章节。

下面的示例只保留关键控制流：先按标题归属累积段落，超过 token_limit 后再从边界附近切开，并给相邻块保留 overlap。生产环境要使用目标模型对应的 tokenizer，示例里的估算函数只是为了展示流程。

def split_sections(paragraphs, token_limit=420, overlap=60):
    chunks = []
    current = []
    current_tokens = 0

    for title_path, text, tokens in paragraphs:
        if current and current_tokens + tokens > token_limit:
            chunks.append((title_path, current))
            tail = current[-overlap:] if overlap 

这里先别急着把 overlap 调到 200。若单个表格或代码块本身已经超过 token_limit，重叠再大也不能修复它；应该先给代码块、表格和标题建立不可拆分或专门切分规则。

overlap 解决的是边界丢失，不是召回质量万能开关

重叠的价值在于把跨边界的指代、条件和结论同时放进相邻切片。例如“此配置只对批处理生效”紧跟在上一段参数说明后面，如果恰好被切走，向量检索只拿到参数名，答案就会显得肯定却不完整。

可以把初始实验设计成三组：overlap=0、overlap=60、overlap=120，其他参数保持一致。对每个问题记录正确答案所在的文档块是否出现在前 5 个结果，并同时记录重复 token 数和端到端延迟。只看“搜到了”不够，还要检查召回片段是否包含限制条件。

用一组真实问题验证，而不是凭样例感觉调参

验证集不需要一开始就很大，但要覆盖跨段问题、同义问法和带限制条件的问题。每道题准备一个或多个人工确认的正确文档片段，把最终核对过的片段标记为“命中段”；检索时固定 embedding 模型、top_k、过滤条件和查询改写方式，只改变 overlap。

一个简单的验收记录可以长这样：Q-01 问“批处理配置是否影响实时任务”，正确片段排在第 3 位且包含“只对批处理生效”，记为命中；如果只召回参数表却没有限制句，记为部分命中，不要把它算成成功。OpenAI 的公开资料把 embedding 检索描述为“把问题和文档片段映射后寻找相关片段”的路径，具体切片策略仍需要用自己的数据验证。

先看 Recall@5，再看答案完整度

Recall@5 能回答“正确片段有没有进前五”，但不能回答“片段是否足够完整”。建议给每条结果再加一个人工或规则标签：是否同时包含实体、动作和限制条件。三组参数的命中率接近时，优先选择重复更少、延迟更低的那组。

常见误区与回归检查

把 overlap 当成固定比例，所有文档一套参数

API 参考、故障手册和长篇叙事的边界不同。参数说明适合小块加父级标题，故障步骤更需要保留前置条件；可以按文档类型分桶评测，但要避免一次同时更换切片器和 embedding 模型。

只看向量相似度，不看关键限制句

相似度高只能说明词义接近。把“仅”“不得”“除非”“只在”列为检查词，能更快发现切片虽然命中，但答案少了限制条件的情况。

忽略索引体积和上下文重复

overlap 增大后，切片数量、索引写入量和送入模型的重复内容都会增加。上线前至少记录索引条数、平均 chunk token、top_k 上下文 token 和接口延迟；没有召回收益时不要为“看起来更保险”付出长期成本。

相关问题

chunk overlap 设为 0 可以吗？

可以作为基线，适合边界天然清晰、每个小节很短的文档；跨段定义和限制较多时，通常需要少量重叠。

应该先调 chunk_size 还是 overlap？

先保证标题、表格和代码块不会被粗暴截断，再在固定 chunk_size 下比较 overlap，这样更容易判断是哪一个变量造成变化。

Recall@5 提高就一定更好吗？

不一定。还要检查正确片段是否包含完整条件，并同时比较重复 token、延迟和最终答案的引用准确性。

把参数变成可回归的切片规则

一套可维护的起点是：标题层级作为元数据，按内容类型设 token 上限，以 10%～15% overlap 做基线，使用固定问题集比较 Recall@5、答案完整度和成本。每次只改一个变量，保留切片版本和评测结果；当文档结构或 embedding 模型变化时，再重新跑这组回归，而不是凭经验复制旧参数。