多模态模型看不清表格怎么办：先做区域裁剪、再核对坐标与字段映射

一张发票明细表被压成整页截图后，模型能读出标题，却把“数量”和“含税单价”错配了两行。这个结果通常不是模型完全看不懂，而是小字号、列间距和目标字段在一次输入里被挤在了一起。更稳的处理方式，是先裁出目标表格区域，再保留原图坐标，最后把模型读到的文本映射回字段并做一次规则核对。

下面按一次可回放的表格识别请求拆解。示例字段和数值是演示数据，真正接入时要以所用模型的图像输入文档和业务数据格式为准。

先判断：问题出在图片范围还是字段理解

先拿同一张原图做一个小实验：只让模型回答“表格有几列、表头分别是什么”，不要立刻要求它输出完整 JSON。如果连表头顺序都不稳定，优先处理图片范围、清晰度和细节等级；如果表头稳定但行列对应错了，问题更可能在坐标记录或字段映射。

OpenAI 的 Responses API 参考文档把图片作为 input_image 输入，并提供 detail 参数控制图像理解细节。这里的 detail=high 只是一次可核对的输入选择，不代表所有模型都能自动解决长图缩放问题。我的做法是把“模型看图”和“应用保存坐标”分成两件事。

{
  "type": "input_image",
  "image_url": "https://example.invalid/table-crop.png",
  "detail": "high"
}

示例中的地址仅表示字段位置，不是可访问的数据源；生产环境应使用本地上传后的合规图片地址或文件引用，不要把真实票据内容写进日志。

先裁出表格，再把输入交给模型

长截图最容易浪费模型注意力：页眉、印章、合计区和正文表格都占了像素，但真正要抽取的可能只有中间六行。先记录表格在原图中的矩形范围，例如 crop_region 为 x=120,y=420,w=1460,h=780，再得到只包含明细表的 table_crop。

裁剪边界不要贴着文字。四周留出少量空白，能帮助模型判断第一列和最后一列没有被截断；同时把裁剪后的宽高写入请求日志，这样同一张原图换了裁剪范围时不会被误认为是同一次输入。

我会把第一轮结果限定为“表头、行号、每个单元格的原文”，不急着让模型计算金额。模型输出越接近可核对的原始观察，后面的字段映射越容易发现偏差。

裁剪后仍然模糊，先改输入质量

如果裁剪图中单元格文字只有几个像素高，继续堆提示词的收益很低。先检查原图是否被聊天工具二次压缩，再确认裁剪没有把表头或行尾切掉。必要时只对目标区域做等比例放大，但要把放大比例记录为输入处理参数，避免回放时产生另一张“同名图片”。

用原图坐标把行列关系留下来

模型返回的文字顺序并不等于业务字段顺序。尤其是合并单元格、两行表头和右对齐数字，单靠换行符很难判断归属。应用侧至少保存每一行的 row_y 范围，以及每列的 column_x 范围；模型给出的单元格文本只作为内容，行列位置由坐标和表头共同决定。

{
  "row_y": [468, 526],
  "column_x": {
    "item": [140, 680],
    "quantity": [681, 820],
    "unit_price": [821, 1030]
  },
  "cells": [
    {"text": "螺栓", "x": 210, "y": 492},
    {"text": "12", "x": 742, "y": 492},
    {"text": "3.50", "x": 900, "y": 492}
  ]
}

这组坐标是本文的演示记录，不是模型固定返回格式。关键在于，row_y、column_x 和单元格坐标要能回指到原图，而不是只把一段最终 JSON 存下来。

字段映射完成后，必须做一次业务校验

有了坐标仍可能把“含税单价”映射成“未税单价”，所以最后要让规则参与验收。示例中，field_map 把单元格文本归入 item、quantity 和 unit_price，validation 再检查数量是否为正数、金额格式是否符合小数位要求，以及必填列是否为空。

type Cell struct {
    Text string
    X, Y int
}

func mapCell(cell Cell, fieldMap map[string][2]int) (string, bool) {
    for field, span := range fieldMap {
        if cell.X >= span[0] && cell.X 

当 mapCell 找不到列时，不要把它静默塞进“备注”字段；保留未映射单元格并进入人工复核。validation 返回错误时，也不要自动把空值补成零。对票据、报价单这类数据，宁可少输出一行，也不要让错误字段进入后续结算。

一次失败回放应该看哪些证据

我会为每次识别保存四类可脱敏记录：原图摘要、crop_region 与处理参数、模型输入配置、字段映射和 validation 结果。这样看到“数量读对但单价错位”时，可以先打开裁剪图核对列边界，再看 column_x 是否覆盖了两列，而不是立即换模型。

1. 同一原图固定 crop_region，重复一次识别，确认表头和行号一致。
2. 只调整裁剪范围，确认 table_crop 摘要变化，并在日志里留下新范围。
3. 抽查一行单元格，核对 row_y 与 column_x 是否能回到原图位置。
4. 让一条必填字段为空，确认 validation 进入复核分支而不是自动补值。

常见问题：表格识别为什么会“看见文字却配错列”

把整张截图改成更长的提示词，就能解决吗？

通常不能。提示词可以说明任务，但无法替代被缩小、被裁断或列界线不清的输入。先保证表格区域清楚，再要求输出字段。

坐标要用裁剪图坐标还是原图坐标？

两者都可以，但必须标明坐标系。实践中保留原图坐标更容易回放；如果模型只返回裁剪图坐标，就保存裁剪偏移量并在应用侧换算。

识别失败时能不能把空字段自动设为零？

只有业务明确把空值定义为零时才可以。数量、单价和税率通常不能默认补零，应让 validation 把异常交给复核。

把“看清楚”变成可复核的输入链

多模态表格识别的稳定性，往往从输入边界开始。crop_region 负责缩小问题，row_y 和 column_x 负责留下位置，field_map 与 validation 负责阻止顺口但错误的结果。每一步都留下能回到原图的证据，模型换了或图片来源变了，排查仍然有抓手。