多模态模型识别表格为什么漏列：输入预处理、坐标校验与纠错

把一张扫描发票交给多模态模型，最容易出现的不是整张图片无法识别，而是“表头看到了，某一列却在结果里消失”。这通常不是简单的识字错误：原图缩放改变了细线和字符间距，模型把相邻单元格合并，后续结构化输出又没有做列数和坐标复核。处理这类问题，应该把图片、表格结构和 JSON 结果放进同一条验收链。

先区分“没看见”与“没输出”

表格识别至少有三个阶段：视觉输入、单元格结构恢复、结果序列化。第一阶段丢失了右侧区域，第二阶段把两列合成一个单元格，第三阶段则可能只返回了模型觉得重要的字段。它们在页面上都表现为“漏列”，但修法完全不同。

可以先给每一行保留一个简单的验收对象：

{
  "row": 4,
  "expected_columns": ["invoice_no", "item", "amount", "tax_rate"],
  "cells": [
    {"name": "invoice_no", "text": "A-1048", "x": 112},
    {"name": "item", "text": "服务费", "x": 286},
    {"name": "amount", "text": "1200.00", "x": 548},
    {"name": "tax_rate", "text": "6%", "x": 704}
  ]
}

这里的重点不是让模型一次返回完美坐标，而是给后续程序留下“应该有几列、每列大致在哪”的可检查证据。若模型只返回三项，先看原图右侧是否仍有内容，再判断是视觉问题还是结构问题。

输入预处理决定了细线和列间距

拍照表格常见的失真包括透视、阴影、反光和边缘裁切。直接把整张照片缩到很小的长宽，模型可能仍能读出大标题，却看不清金额列和税率列这种窄字段。预处理的目标不是把图片“美化”，而是让每个必要单元格在输入中占据足够像素。

• 裁掉桌面、文件夹和无关页边，但不要裁掉表头或最右列。
• 保持纵横比，优先提升长边清晰度；不要用非等比拉伸制造假列。
• 轻度校正倾斜和阴影，保留原始表格线，因为表格线本身是结构线索。
• 对很宽的表格可分成左右重叠区域，重叠区至少覆盖一列，便于后面对齐。

如果分块识别，给每块带上顺序和原图偏移量，例如 block=2, offset_x=1460。否则局部结果即使识别正确，也无法拼回原表。

用表头、列数和 x 坐标做三重校验

只检查返回 JSON 是否能解析是不够的。对每一行至少做三次判断：字段名是否覆盖表头、单元格数量是否符合预期、同一列的横坐标是否落在稳定区间。三项中任意一项异常，就把该行标为待复核。

一个实用的判断方式是把每列横坐标按中位数聚类。不要把阈值写死成所有表格都一样；可以用表格宽度的 3% 作为初始容差，再用人工抽样结果调整。这个数字是工程起点，不是模型的通用标准。

只重做可疑行，避免整张表重复消耗

发现一行只有三列时，不要立即重复发送整张原图。先根据缺失字段的位置裁出包含表头、目标行和左右邻行的小区域，再要求模型只返回该行的固定字段。局部请求的输出可以采用更窄的 schema：

{
  "row_index": 4,
  "columns": [
    {"name": "amount", "text": "1200.00", "bbox": [510, 220, 650, 268]},
    {"name": "tax_rate", "text": "6%", "bbox": [650, 220, 744, 268]}
  ],
  "uncertain": false
}

纠错结果不能直接覆盖原值。建议保存 original_text、corrected_text、reason 和 evidence_bbox 四个字段。若两次局部识别仍然冲突，就把该单元格交给人工复核或业务规则处理；不要用一个看似合理的数字填空。

把验收结果落成可追溯记录

批处理场景里，真正需要关注的是“哪一行、哪一列、为什么被改过”。可以为每份表保留输入哈希、分块信息、模型原始返回、校验结果和纠错记录。这样下一次模型升级或提示词调整时，能复跑同一批样本做对照。

status=review_required
row=4
missing_column=tax_rate
reason=x_coordinate_conflict
action=local_retry
final_status=accepted_after_review

验收通过的最低条件可以设为：必需表头全部存在、数据行列数没有未解释变化、金额等关键字段通过格式校验、所有纠错都有证据位置。对财务、合同和库存这类数据，宁可保留待复核，也不要把猜测当成识别结果。

常见问题

为什么整张表能读出文字，却总是少一列？

大概率是窄列、右边缘裁切或相邻单元格合并。先检查原图右侧是否完整，再用表头和横坐标判断问题发生在哪一层。

把图片放大就一定能解决漏列吗？

不一定。放大不能恢复原图没有的细节，过度锐化还可能制造假表格线；应同时检查透视、裁切和分块重叠。

局部重识别需要保存哪些信息？

至少保存原始行号、裁剪区域、原始返回、修正返回和修正原因。没有这些证据，后续很难判断是模型变化还是拼接逻辑出错。

什么时候应该直接人工复核？

关键字段缺失、金额格式异常、两次局部识别互相矛盾，或坐标无法稳定归列时，应停止自动填充并进入人工复核。

结语

多模态表格识别的可靠性，靠的不是一次更长的提示词，而是输入完整性、结构约束、坐标证据和纠错留痕组成的闭环。先定位漏列发生的阶段，再对可疑区域做小范围修复，通常比整张表反复重试更省成本，也更容易验收。