视觉模型读取表格图片时如何按区域保留字段证据

视觉模型读整张表格时，常见问题不是“完全识别不出来”，而是识别结果失去了出处：这个金额来自哪一行？备注属于哪一列？跨页后同名字段又该和哪张图对应？实用的做法是先把表格拆成带稳定标识的区域对象，再让模型把 region_id 原样带回每条字段记录。这样字段值、原图位置和人工复核入口始终在一起。

官方地址：https://developers.openai.com/api/docs/guides/images-vision

为什么整张表识别后字段证据会丢失

整图请求把“看懂表格”和“说明字段出处”混成了一个任务。表头、合计行、脚注和相邻小数点都可能进入同一视觉上下文；模型即使返回正确的数字，也未必会稳定说明它对应的原图位置。更麻烦的是，后续重试通常只保存了新的文字答案，没有保存同一块原图和当时的提示。

因此要把证据拆成三层：原图坐标回答“在哪里”，区域图片回答“模型看到了什么”，字段记录回答“识别成了什么”。证据链的主键应由业务侧生成，而不是依赖模型临时编造。

先把表格切成带坐标的区域对象

区域划分不必一开始就做到单元格级。发票可以先分成表头、明细、金额合计和备注四块；报表则可以按页码、表格编号和数据块划分。每个区域保存原图哈希、左上右下坐标、裁剪图路径和预期字段，例如 amount_total 只能在“金额合计”区域中查找。

要点是让区域 ID 在裁剪、上传、请求、响应和落库阶段都不变。不要把“第 2 张图”当成唯一标识，因为批量重排图片后这个序号就会改变。

让模型返回可回溯的字段证据

OpenAI 的视觉输入支持完整图片 URL、Base64 data URL 和文件 ID，也允许在一次请求中放多张图片。可以在每张区域图片前放一段短文本，明确它的 region_id；再用结构化输出约束返回字段，避免答案只剩一段自然语言。

import base64
import json
from pathlib import Path
from openai import OpenAI

client = OpenAI()

def image_data_url(path: str) -> str:
    # 读取局部表格图并转成 API 可接受的 data URL。
    raw = Path(path).read_bytes()
    encoded = base64.b64encode(raw).decode("ascii")
    return f"data:image/png;base64,{encoded}"

regions = [
    {"region_id": "invoice_header", "path": "crops/header.png", "fields": ["invoice_no", "date"]},
    {"region_id": "amount_total", "path": "crops/total.png", "fields": ["subtotal", "tax", "total"]},
]

content = [{
    "type": "input_text",
    "text": "只读取每个区域声明的字段；无法确认时保留空值并将 needs_review 设为 true。"
}]
for region in regions:
    # 文本标签和图片成对出现，避免响应只记住图片顺序。
    content.append({
        "type": "input_text",
        "text": json.dumps({
            "region_id": region["region_id"],
            "allowed_fields": region["fields"]
        }, ensure_ascii=False)
    })
    content.append({
        "type": "input_image",
        "image_url": image_data_url(region["path"]),
        # 密集小字需要保留较高的视觉细节；按模型支持情况调整。
        "detail": "original"
    })

schema = {
    "type": "object",
    "properties": {
        "records": {
            "type": "array",
            "items": {
                "type": "object",
                "properties": {
                    "region_id": {"type": "string"},
                    "field": {"type": "string"},
                    "value": {"type": "string"},
                    "evidence": {"type": "string"},
                    "confidence": {"type": "number"},
                    "needs_review": {"type": "boolean"}
                },
                "required": ["region_id", "field", "value", "evidence", "confidence", "needs_review"],
                "additionalProperties": False
            }
        }
    },
    "required": ["records"],
    "additionalProperties": False
}

try:
    response = client.responses.create(
        model="gpt-6-astra",
        input=[{"role": "user", "content": content}],
        text={"format": {"type": "json_schema", "name": "table_evidence", "strict": True, "schema": schema}}
    )
    result = json.loads(response.output_text)
except Exception as exc:
    # 网络、图片或结构化输出失败时保留原始区域，交给可重试队列处理。
    raise RuntimeError("table evidence request failed") from exc

这里的 evidence 不是让模型返回不可验证的“我看到了”，而是要求它用行列、标签或局部文字描述依据。生产代码还应检查 region_id 是否属于本次请求、field 是否在白名单内，并把原图哈希和请求 ID 一起保存。

批量场景如何控制成本并处理不确定值

图片会计入输入量，多区域请求并不等于可以无限追加裁剪图。先用较少区域覆盖核心字段；只有出现低置信度、字段缺失或跨区域依赖时，才针对原区域重试。对大表格，按页或业务块分组，并为每组保留独立请求 ID，方便定位是哪一块失败。

特别要区分“模型不确定”和“业务校验失败”：前者由 confidence、空值和证据说明触发人工复核，后者还要对金额合计、日期格式和跨页主键做程序检查。视觉模型可以提供候选值，但不能替代账务规则。

常见问题

是否必须把表格切到单元格级？

不必。先按语义区域切分通常更稳；只有字段密集、字很小或相邻列容易串读时，才进一步缩小到行组或列组。

为什么不直接让模型返回坐标？

坐标属于对尺寸和缩放敏感的结果。区域 ID 加原图坐标由业务侧保存更稳定；模型负责说明字段与区域的对应关系，必要时再单独设计坐标输出和映射规则。

detail=original 能保证识别一定正确吗？

不能。它只影响图像预处理细节和输入成本，不能替代清晰裁剪、字段白名单、结构化输出和人工复核。