Embedding 结果怎样保留文本分块位置方便回溯

Embedding 的结果不要只保存一串向量和相似度。更稳妥的做法是把每个向量当成“原文分块的索引记录”，同时保存文档标识、文档版本、分块编号、字符起止位置和必要的内容摘要。召回时先用向量找候选，再依据这些字段回读原文，这样排序和引用都不会丢掉来源。

官方地址：https://www.sbert.net/docs/sentence_transformer/usage/usage.html

下面的结构不绑定某一个向量数据库。无论底层使用哪种索引，关键都是把“用于相似度计算的向量”和“用于原文回溯的元数据”放在同一条可关联记录中。

先把向量和来源元数据绑定

一条可回溯记录至少需要 doc_id、doc_version、chunk_id、start_offset、end_offset 和 text_hash。向量负责近似检索，元数据负责回答“它来自哪份文档的哪一段”。

# 用不可变的来源字段描述一个向量对应的原文分块
chunk_record = {
    "doc_id": "handbook-17",
    "doc_version": "2026-10-17T01",
    "chunk_id": "handbook-17:0042",
    "start_offset": 18320,
    "end_offset": 18976,
    "text_hash": "sha256:示例摘要",
    "text": "只保留用于展示或回读的分块文本"
}

# 向量索引只负责近似搜索，metadata 保留回溯所需字段
index_record = {
    "id": chunk_record["chunk_id"],
    "vector": embedding,
    "metadata": chunk_record
}

这里的 chunk_id 要稳定且可读，不能只用一次性数组下标。下标会随着重切片改变，而稳定 ID 能帮助日志、缓存和引用指向同一份来源记录。

记录字符偏移、版本和切块规则

只保存分块文本也能做简单展示，但一旦原文被更新，就很难判断旧文本是否仍然有效。建议把文档版本和切块规则一起记下：版本用于确认偏移的参照物，规则用于解释为什么相邻分块有重叠或为什么某段被拆开。

# 元数据描述偏移的参照版本，避免把旧偏移套到新正文上
provenance = {
    "doc_id": "handbook-17",
    "doc_version": "2026-10-17T01",
    "chunk_id": "handbook-17:0042",
    "start_offset": 18320,
    "end_offset": 18976,
    "splitter": "paragraph-800-overlap-120",
    "text_hash": "sha256:示例摘要"
}

# 只有同一版本的正文，偏移才可以直接切片
if source_version != provenance["doc_version"]:
    raise ValueError("文档版本不一致，不能直接使用旧偏移")
source_text = source_text[provenance["start_offset"]:provenance["end_offset"]]

偏移单位必须固定。Python 字符串按 Unicode 码点切片时，和按 UTF-8 字节计数并不是一回事；如果数据链路中有其他语言或服务，应该显式记录偏移单位，例如 unicode-codepoint 或 utf8-byte，不要靠约定猜测。

召回结果里不要丢来源字段

召回阶段通常会返回 score 和记录 ID。真正交给生成模型或前端的结果，还应该带上来源元数据，至少包括文档标题、章节、分块 ID 和版本。这样排序只改变候选顺序，不会把可追踪信息截掉。

# 将向量检索命中的记录整理成可引用的候选项
def to_citation(hit):
    metadata = hit["metadata"]
    return {
        "score": hit["score"],
        "doc_id": metadata["doc_id"],
        "doc_version": metadata["doc_version"],
        "chunk_id": metadata["chunk_id"],
        "start_offset": metadata["start_offset"],
        "end_offset": metadata["end_offset"],
        "text": metadata["text"]
    }

# 只把完整来源对象交给后续排序或回答阶段
citations = [to_citation(hit) for hit in search_hits]
citations.sort(key=lambda item: item["score"], reverse=True)

不要把 score 当成来源证明。分数只能说明候选与查询的相似程度，不能说明文本来自哪个版本，也不能证明答案覆盖了完整上下文。来源字段应与候选一起流转到最终引用层。

按偏移回读原文，并处理版本失配

如果业务要求展示原文的最新内容，可以在回读时再次检查版本和哈希。版本一致时直接按偏移取片段；版本不一致时，不要静默使用旧偏移，可以回退到保存的分块文本，或者按 chunk_id 查找重建后的映射。

# 回读时同时检查文档版本和内容摘要，避免错引新旧文本
def resolve_source(hit, documents):
    meta = hit["metadata"]
    document = documents.get(meta["doc_id"])
    if document is None:
        return {"status": "missing-document", "text": meta["text"]}

    # 版本不同代表偏移参照物已经变化，不能直接切片
    if document["version"] != meta["doc_version"]:
        return {"status": "stale-version", "text": meta["text"]}

    text = document["text"][meta["start_offset"]:meta["end_offset"]]
    if hash_text(text) != meta["text_hash"]:
        return {"status": "hash-mismatch", "text": meta["text"]}
    return {"status": "ok", "text": text}

三种异常状态的含义不同：文档不存在是存储问题，版本过期是索引需要重建或映射的问题，哈希不一致则说明切块内容与记录不符。把它们分开记录，比统一返回“找不到原文”更容易排查。

用最小数据结构检查回溯闭环

可以把闭环压缩成一句判断：向量命中后，能否通过同一条记录找到文档、确认版本、定位分块，并在内容变化时给出失配状态。如果只能拿到分数和一段孤立文本，就还没有完成可回溯设计。

常见问题

只保存分块文本，不保存字符偏移可以吗？

可以满足简单展示，但当原文需要更新、引用或审计时，缺少偏移和版本会使来源关系变得模糊。至少应保存文档 ID、版本和分块 ID。

字符偏移和分块编号哪个更重要？

两者用途不同：分块编号适合稳定关联向量和日志，字符偏移适合从指定版本原文中精确回读。可回溯链路通常同时保存。

重切片后旧向量怎么办？

不要把旧向量伪装成新版本。为新切片生成新的分块 ID 和版本，旧记录标记为过期或移出检索范围，再按业务需要保留历史引用。

相似度分数高就能直接当作引用吗？

不能。分数只参与排序，引用还需要来源元数据、版本检查和原文回读结果。

小结

Embedding 的可回溯性来自数据结构，而不是来自模型本身。把 doc_id、doc_version、chunk_id、字符偏移和内容摘要与向量绑定，召回后保留这些字段，并在回读时检查版本与哈希，就能把“相似候选”变成“有来源的候选”。