登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Embedding 批量生成怎样控制输入分片和结果对应

来源:17golang原创

时间:2026-11-16 20:27:09 185浏览 收藏

批量生成 Embedding 时,真正容易出错的通常不是把多条文本放进 input,而是请求拆分后失去了对应关系:某个分片重试、返回项顺序被误读,或者同一索引表混入了不同维度的向量。稳妥的做法是把每条文本包装成带业务 ID 的记录,分片只负责控制请求边界,回填时始终依据响应中的 index 和本地映射。

官方地址:https://platform.openai.com/docs/guides/embeddings

本文只讨论批量输入、维度和索引映射。示例使用 Python,代码中的 API 调用是写法示意,不包含真实密钥,也不在本地执行。

先把“批次对应关系”当成资产

我在做离线文档向量化时,最先保留下来的不是向量本身,而是三组元数据:

  • 业务 ID:例如文档编号或数据表主键,跨分片、跨重试都不变。
  • 批内 index:本次请求中从 0 开始的位置,用于和 Embeddings API 返回项的 index 对齐。
  • 向量 schema:模型名、输出维度、编码格式和写入目标,避免旧向量与新向量混放。

这三项就是批处理的“对应关系资产”。如果只保存一个按完成顺序追加的浮点数组,后面很难判断某个向量究竟来自哪条文本。

Embedding 批量输入、批内索引、模型维度与业务 ID 的静态关系说明图
图1:Embedding 批次契约说明图,展示业务记录、分片索引和向量 schema 的静态关系;这是原创说明图,不是截图或运行证据。

按预算切分输入,不要切断记录身份

批量请求的核心不是“越大越好”,而是每个请求都能被单独记录、重试和回填。切分时可以先按字符数做工程上的粗分片,再接入 tokenizer 估算 token;无论采用哪种策略,都不要把一条业务记录拆成多个没有共同 ID 的字符串。

下面的示例使用一个保守的字符预算演示分片。实际项目还应根据所用模型、请求限制和文本语言分布调整预算。

from dataclasses import dataclass

@dataclass
class Record:
    doc_id: str
    text: str


def chunk_records(records: list[Record], max_chars: int) -> list[list[Record]]:
    # 每个分片只控制请求大小,不改变记录的业务 ID。
    chunks: list[list[Record]] = []
    current: list[Record] = []
    current_chars = 0

    for record in records:
        size = len(record.text)
        # 单条超预算时保留为独立记录,避免静默截断正文。
        if current and current_chars + size > max_chars:
            chunks.append(current)
            current = []
            current_chars = 0
        current.append(record)
        current_chars += size

    if current:
        chunks.append(current)
    return chunks

这个函数的边界很明确:它只决定哪些记录一起发,不负责生成向量,也不把文档内容改写成摘要。若项目必须按 token 控制大小,应将 len(record.text) 替换为项目统一的 tokenizer 计数,并把计数版本写入批次元数据。

模型和 dimensions 要跟索引 schema 一起锁定

官方文档说明,text-embedding-3-small 默认输出 1536 维,text-embedding-3-large 默认输出 3072 维;新模型也支持通过 dimensions 参数缩短向量。这里有两个容易被忽略的风险。

  1. 同一索引集合中,新旧请求使用了不同模型或不同 dimensions,导致向量长度不一致。
  2. 只在代码中写死维度,迁移模型时却没有同步更新写入层和查询层。

因此,建议在批次开始时固定一份 schema,例如“模型名 + dimensions + 编码格式”,并让写入函数把它当作前置条件。想缩短维度时优先在 API 请求中设置 dimensions;如果是生成后手工截断,则还需要按官方说明重新归一化,不能把截断后的数组直接当作等价向量。

EMBEDDING_SCHEMA = {
    "model": "text-embedding-3-small",
    "dimensions": 768,
    "encoding_format": "float",
}

def build_request(texts: list[str]) -> dict:
    # 请求和索引表共用同一份 schema,避免写入时悄悄换维度。
    return {
        "model": EMBEDDING_SCHEMA["model"],
        "input": texts,
        "dimensions": EMBEDDING_SCHEMA["dimensions"],
        "encoding_format": EMBEDDING_SCHEMA["encoding_format"],
    }

按返回 index 回填,不按完成顺序猜测

一次请求包含多条输入时,本地可以建立“批内 index → 业务 ID”的表。响应中的每个 embedding 项也带有 index,回填时先确认它落在当前分片范围内,再按这个 index 找回业务记录。

这一步看起来比 zip(records, response.data) 麻烦一点,但它把最危险的隐式假设显式化了:只有 index 集合完整、没有重复、向量维度符合 schema,才允许进入写入阶段。

def request_and_map(client, chunk: list[Record]) -> list[dict]:
    texts = [record.text for record in chunk]
    response = client.embeddings.create(**build_request(texts))

    expected = set(range(len(chunk)))
    actual = [item.index for item in response.data]
    # 先检查索引集合,缺项或重复都不能直接写入。
    if set(actual) != expected or len(actual) != len(set(actual)):
        raise ValueError("Embedding 返回 index 不完整或重复")

    mapped: list[dict] = []
    for item in response.data:
        vector = item.embedding
        # 维度不符说明请求 schema 或目标索引配置发生了漂移。
        if len(vector) != EMBEDDING_SCHEMA["dimensions"]:
            raise ValueError("Embedding 维度与当前 schema 不一致")
        mapped.append({
            "doc_id": chunk[item.index].doc_id,
            "batch_index": item.index,
            "embedding": vector,
            "model": EMBEDDING_SCHEMA["model"],
            "dimensions": len(vector),
        })
    return mapped

官方示例也使用返回项的 index 将向量和原始列表重新对应。这里把这个关系扩展成了写入前的显式检查:doc_id 来自本地分片,向量来自响应,二者通过 batch_index 连接。

Embedding 响应 index 回到本地业务 ID 并经过维度检查的静态关系说明图
图2:返回 index、分片记录和向量 schema 的回填关系图;这是原创结构图,不是 API 截图或实际运行结果。

失败时只重试缺失分片

批量任务最怕“整批重跑”。假设 10 个分片中只有第 7 个请求超时,重新发送全部分片会制造重复成本,还可能把已经成功写入的记录覆盖成另一批结果。更安全的做法是为每个分片保存状态:

字段用途
batch_id标识本次批次,便于审计和恢复
chunk_id标识分片,失败时只重试该分片
input_ids保存业务 ID 顺序,不重新从正文推断
schema记录模型和 dimensions,拒绝漂移
status区分 pending、succeeded 和 failed

重试前先读取原分片快照,不能按照当前数据库查询结果重新分页;数据在两次尝试之间发生增删时,重新分页会改变 index 和业务 ID 的对应关系。

把批处理风险分成三层

按安全威胁建模的方式看,这类问题主要有三层:

  • 身份层:分片或重试后,向量找不到原来的业务 ID。控制措施是保存不可变 ID 和输入快照。
  • 结构层:模型或 dimensions 漂移,查询向量与库内向量不兼容。控制措施是 schema 绑定和维度检查。
  • 记录层:失败重试覆盖成功结果,却没有留下过程。控制措施是 batch_id、chunk_id 和状态日志。

这不是为了把普通脚本写得复杂,而是把“错位”从事后排查变成写入前可以拒绝的条件。对小数据量脚本,至少保留 doc_id、batch_index 和 dimensions;对长期离线任务,再增加分片状态与请求记录。

批量 Embedding 的最小检查清单

  1. 每条输入是否有跨分片不变的业务 ID?
  2. 分片是否保存了原始记录顺序,而不是只保存文本数组?
  3. 请求中的模型和 dimensions 是否与写入 schema 一致?
  4. 是否按响应 index 回填,而不是按返回顺序盲目 zip?
  5. 是否在写入前检查 index 完整性、重复项和向量长度?
  6. 失败时能否只重试原分片,并保留同一个输入快照?

如果这六项都能回答“是”,批量 Embedding 的关键风险就已经从“结果看起来像成功”变成了可追踪的映射关系。分片大小可以继续优化,但业务 ID、批内 index 和向量 schema 不应随着优化一起变化。

相关问题

Embedding 的 dimensions 可以在不同批次随意改变吗?

不建议对同一个向量集合随意改变。改变后应建立清晰的 schema 版本,并让查询侧使用同样的模型和维度;否则即使数组能写入,也无法保证比较结果有意义。

为什么不直接按 response.data 的顺序回填?

因为顺序是一个隐式假设。使用返回项的 index 可以把对应关系写成明确规则,并在缺项、重复项或重试场景下及时拒绝错误结果。

单条文本超过分片预算怎么办?

不要静默截断。可以单独记录超限项,再依据业务语义做分段,并让多个片段共享父级业务 ID;这已经超出本文的单条记录映射范围,应另行设计片段级主键。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>