Embedding 模型更换后向量维度不一致怎么办:双索引迁移、查询路由与回滚
来源:17golang原创
时间:2026-08-28 01:02:52 229浏览 收藏
Embedding 模型更换后,最危险的不是新模型效果暂时不稳定,而是旧向量和新向量被当成同一种数据继续写入。维度不同会在入库或查询时直接报错;即使维度碰巧相同,语义空间也可能已经变化。稳妥的迁移方式是保留旧模型,建立新索引,先回填和对照,再让查询路由逐步切换。
不要覆盖旧向量列来“省一次迁移”:把模型标识、维度和索引一起版本化,才能在效果不满意时退回旧链路。
- 先从实际返回结果核对向量维度,再决定数据库列和索引形态。
- 旧模型与新模型分别写入旧索引和新索引,查询路由负责选择当前版本。
- 回填完成不代表迁移完成,还要做影子查询、空结果检查和回滚演练。
- 模型版本、向量维度和分片标识都应进入数据契约,不能只藏在配置文件里。
先确认真正变化的是维度,还是语义空间
排查时先记录一次完整的 Embedding 响应:模型标识、返回向量长度、输入文本摘要和请求时间。不要只看模型名称猜维度,也不要把“同维度”理解成“可直接混用”。两个模型即使都返回同样长度的数组,训练目标、归一化方式或版本变化也可能让距离分数失去可比性。
数据库侧至少保留 model_id、embedding_dim、document_id 和 embedding。pgvector 官方示例使用 vector(3) 表达固定维度;如果使用不带长度的 vector,不同维度可以放在同一列,但索引仍需要按相同维度建立表达式或部分索引。迁移期间,固定维度列更容易把错误挡在写入阶段。
type EmbeddingRecord struct {
DocumentID string
ModelID string
EmbeddingDim int
Values []float32
}
func validateEmbedding(record EmbeddingRecord, expected int) error {
if record.EmbeddingDim != expected {
return fmt.Errorf("embedding dimension mismatch")
}
if len(record.Values) != expected {
return fmt.Errorf("embedding length mismatch")
}
return nil
}
这里的 expected 来自当前索引契约,而不是请求方随意传入的数字。校验失败时保留原始文档和模型标识,方便重新生成,别把错误数组截断或补零后继续入库。

双索引迁移:旧模型和新模型先各走一条数据路径
迁移的第一步不是删除旧列,而是为新模型准备独立的存储空间。可以使用两张表,也可以在同一张表中用 model_id 区分,再为每个维度建立匹配索引。关键是让“生成向量”和“写入索引”成为一个可观测的数据路径。
CREATE TABLE document_embeddings (
document_id text NOT NULL,
model_id text NOT NULL,
embedding_dim integer NOT NULL,
embedding vector NOT NULL,
PRIMARY KEY (document_id, model_id)
);
CREATE INDEX document_embeddings_new_hnsw
ON document_embeddings USING hnsw ((embedding::vector(1536)) vector_cosine_ops)
WHERE model_id = 'new-model';
上面的 1536 只是迁移契约示例,不能替代真实模型返回值;正式上线前应把它换成已核验的维度。旧模型和新模型的维度不同,就不能在同一条距离计算里混合排序。查询时先根据路由结果筛选 model_id,再使用对应的向量表达式。
回填不能一把梭:先让新索引具备可停止的进度
后台回填按文档游标分批执行,每批记录成功数、失败数和最后一个 document_id。遇到维度不匹配、文档删除或供应商超时,要把异常放进可重放队列,不要为了让进度条变绿而写入空向量。
for page := range pages {
for _, doc := range page.Documents {
vector, err := embedNewModel(doc.Text)
if err != nil {
recordRetry(doc.ID, err)
continue
}
record := EmbeddingRecord{
DocumentID: doc.ID, ModelID: "new-model",
EmbeddingDim: len(vector), Values: vector,
}
if err := validateEmbedding(record, expectedDim); err != nil {
recordRetry(doc.ID, err)
continue
}
saveEmbedding(record)
}
}
回填指标最好拆成 read、embedded、stored、retry 四段。只有 stored 达到目标,且抽样查询能命中新索引,才算这一阶段完成。
查询路由要能切换,也要能解释为什么切换
线上请求不要直接把模型名写死在业务分支里。让路由配置返回一个版本,例如 old-model 或 new-model,随后由检索层选择生成器、维度校验和索引。这样做的价值不只是灰度,更是出现空结果或质量回退时能快速恢复。
func search(ctx context.Context, query string, route ModelRoute) ([]Hit, error) {
vector, err := route.Embed(ctx, query)
if err != nil {
return nil, err
}
if len(vector) != route.ExpectedDim {
return nil, fmt.Errorf("route dimension mismatch")
}
return route.Index.Search(ctx, vector, 8)
}
影子查询可以把同一条查询分别送到旧索引和新索引,但只向用户返回当前版本结果。记录两个版本的命中文档、空结果率和人工抽样结论,别直接用距离分数跨模型做简单相减;分数尺度不一致时,这种比较没有意义。

切换前做三组验收,回滚按钮必须真的可用
验收新写入
新文档写入后,确认旧链路和新链路的写入策略符合预期:双写期间两边都有记录,单切换后只有新模型继续增长。随机抽查 model_id、embedding_dim 和向量长度,确保数据库约束与应用校验都在生效。
验收查询结果
准备一组固定查询,比较新旧版本的命中数量、空结果和明显不相关结果。关注业务可解释的指标,例如“同一文档是否仍能被自己的关键词召回”,不要把一次距离分数变好当成迁移成功。
验收回滚路径
保留旧索引和旧模型的路由配置,演练把流量开关改回 old-model,然后验证查询仍能返回结果。回滚后再检查新模型回填任务是否暂停,避免新旧任务同时改写同一条业务记录。
常见问题:哪些情况不适合直接换模型
维度相同就能复用旧索引吗?
不能。维度只是数组长度,不能证明两个模型的向量空间可比较。至少要使用同一模型标识和同一预处理协议生成的数据,再决定是否复用。
能不能把旧向量截断成新维度?
不建议。截断、补零或随机投影都会改变距离含义,除非你明确采用了经过验证的降维方案,并用固定评测集证明召回质量没有越过业务阈值。
回填完成后要不要马上删旧索引?
不要马上删。至少保留一段可回滚窗口,等新写入、影子查询和线上异常监控都稳定后,再按备份和恢复方案清理旧数据。
Embedding 迁移的核心不是把一列向量换成另一列,而是把模型、维度、索引和路由组成一份可验证的数据契约。双索引让新旧链路可以并存,影子查询提供对照证据,真正的回滚演练则把“理论上能退回”变成可执行动作。
-
284 收藏
-
387 收藏
-
328 收藏
-
426 收藏
-
147 收藏
-
科技周边 · 人工智能 | 13分钟前 | websocket · 人工智能 · gemini · 实时语音 · Gemini Live API session resumption SessionResumptionUpdate GoAway436 收藏
-
科技周边 · 人工智能 | 3小时前 | 人工智能 · api设计 · Google AI · Gemini API · Context Caching · Gemini API Context Caching cachedContent 长提示词 generateContent257 收藏
-
431 收藏
-
410 收藏
-
184 收藏
-
科技周边 · 人工智能 | 9小时前 | API · 人工智能 · agent · gemini · 工程实践 · agent 工具调用 Interactions API Gemini 3.7 Flash 任务验收176 收藏
-
444 收藏
-
163 收藏
-
178 收藏
-
141 收藏
-
161 收藏
-
377 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习