RAG 检索结果怎样保留来源片段和页码
来源:17golang原创
时间:2026-11-07 23:23:52 307浏览 收藏
RAG 要保留来源片段和页码,应在解析文档时就给每个片段保存文档身份、版本、页位置和原文区间,检索与重排时把这些字段一起返回,最后由应用把答案中的引用标识映射回原片段。只给模型一段拼接文本,再要求它补页码,无法可靠恢复已经丢失的定位信息。
例如,知识库能回答“设备停机前应记录什么”,却只显示“来源:操作手册.pdf”。同名手册可能有修订版,片段也可能在正文第7页、PDF物理第11页。改进重点是让引用成为有明确身份的数据对象,而不只是答案末尾的一行文件名。下面是建议的数据设计,不依赖某次模型升级。
把来源信息从字符串升级为结构化片段
建议为每份源文档分配稳定的 doc_id,并用 revision 区分具体版本;每个可检索片段有自己的 chunk_id。文件名用于展示,不适合单独承担唯一身份。再保存正文 text、物理页位置、页标签及页内区间,片段才具备回到来源的依据。
| 字段 | 本文约定 | 用途 |
|---|---|---|
| doc_id / revision | 文档身份及版本 | 区分同名文件与修订版 |
| chunk_id | 当前版本内稳定的片段标识 | 重排和引用时关联记录 |
| page_index | 从0开始的PDF物理页索引 | 确定打开哪一页 |
| page_label | 读取到的PDF页标签,可为空 | 显示罗马数字等标签 |
| span | 页内规范化文本的半开区间[start,end) | 取回精确片段 |
| text | 该区间对应的原文片段 | 向用户展示证据 |

这些字段是本文给出的应用契约,不是任何向量数据库的默认字段。Qdrant 的官方文档说明向量记录可以附带 payload,并可在检索时指定返回哪些字段。因此可以把来源字段与片段一起存进 payload,也可以只保存片段标识、再从文档存储取回正文;关键是记录之间能准确关联。
Qdrant 官方地址:https://qdrant.tech/
先保住页边界,再记录片段区间
PDF最好先按物理页提取,再在页内切分。这样每个片段天然属于一页。不要先把整本PDF拼成一个长字符串、扔掉页边界,再把首片段页码复制给全部切片。确需跨页时,将来源写成多个定位段,每段分别保留页号与区间,不能仅保留一个起始页来冒充完整出处。
页标签也不一定等于纸面印刷页码:PDF可能未定义标签,封面及目录可能另用编号。展示时区分“PDF第11页”和“页面标签7”,未确认的印刷页码不要推算。若用pypdf,可参考其逐页文本提取和页面标签能力,但扫描件仍可能需要OCR。
pypdf 官方文档:https://pypdf.readthedocs.io/
区间单位必须写清楚:这里的span按规范化页文本的Unicode字符位置计数,不按UTF-8字节,也不是PDF坐标。去页眉、空白合并、断行修复后,应保存所用的规范化页文本版本,再计算区间。以后修改清洗规则,旧区间不能继续套在新文本上。
需要在PDF画面高亮时,还应保留解析器或OCR提供的词块坐标。单有字符串区间通常不足以重建页面矩形;不要把文本偏移当成坐标使用。
重排以后仍用片段身份绑定引用
检索结果应返回一个完整记录,至少包含chunk_id、text及来源元数据。重排只改变候选次序,不应该拆散正文与元数据。若重排器只返回原始候选的位置或标识,就用它关联原记录;不要拿重排后的第一段正文配上旧列表第一项的页码。

构造当前回答的上下文时,可建立一张临时证据表:C1对应某个chunk_id,C2对应另一个chunk_id。让答案引用C1、C2,再由应用按照证据表显示文档名、页位置及摘录。短标识只在本次回答内有效,不能把所有请求的C1都写成一个全局来源。
模型不应自行生成文件URL、页码或检索记录中没有的片段标识。应用应只解析证据表内的标识,未知标识显示为缺失引用并触发降级处理。这是产品实现的行为约定;引用存在也不自动证明该句被原文支持,文本蕴含关系仍需单独处理。
若上下文压缩器改写了原文,保留改写摘要与原片段的映射,不要把摘要伪装成逐字引文。展示证据时取回原片段,并明确区分“原文摘录”和“模型概括”。
旧索引怎样补齐来源信息
先看旧记录是否仍能指向具体源文档版本。如果只丢了检索响应字段,而索引里保留着来源元数据,补回查询的字段选择与接口传递即可;正文向量不一定需要重新计算。Qdrant检索接口的payload返回选项正是这类接口配置的一部分。
如果入库时已经丢掉页边界、原片段及版本身份,就需要重新解析来源并建立新记录。旧chunk_id若已经用于历史回答,应保留旧版本映射,不要悄悄把同一标识换绑到新文件。可以给新版本建立独立索引或记录集,待业务切换后再按保留策略处理旧版本。
跨文档去重时也不要只剩一份正文、一条随机来源。相同句子可能出现在不同文档和页面,去重记录应保留多个来源定位,引用展示再根据本次检索语境选择或并列列出。
用一份小样例确认引用约定
可用一份带封面、正文页标签及跨页段落的小文档,在开发环境逐段对照解析记录、检索返回与引用展示。比如约定PDF第11页的page_index为10,页面标签为7,就应同时保存10与字符串7,不能在每个组件里重复加1。这里是样例约定,不是实际运行输出。
重点观察:片段截取是否对应保存的页文本,重排后chunk_id是否仍配对,旧版回答能否找到旧文件,以及缺页标签时是否明确展示物理页。若来源不足,允许回答“当前片段没有可用页码”,比生成一个看似完整的数字更可靠。
网页没有页码怎么办?保存页面URL、标题、抓取版本和段落锚点或文本区间,不要人为制造PDF页码。
重叠切片会重复引用吗?会出现重合证据。可以在同一文档版本和同一页内合并重叠区间,但必须保留实际支持答案的文本范围,不能只按文件名删除其他页的证据。
有页码就能证明答案正确吗?不能。页码解决定位,原片段解决回看;答案是否得到片段支持是另一项判断。
相关一手资料:Qdrant payload、Qdrant 检索返回字段、pypdf 文本提取说明。来源身份、区间与引用表的组织方式为本文建议的工程设计。
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
158 收藏
-
400 收藏
-
500 收藏
-
102 收藏
-
145 收藏
-
212 收藏
-
科技周边 · 人工智能 | 24分钟前 | 人工智能 · vLLM KV Cache gpu-memory-utilization max-num-batched-tokens max-num-seqs 批处理显存265 收藏
-
444 收藏
-
296 收藏
-
248 收藏
-
322 收藏
-
212 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习