视觉语言模型 OCR 结果为什么会漂移：图片裁切、坐标归一化与结构化校验

视觉语言模型接入 OCR 后出现“同一张图、同一段文字、坐标却变了”，通常不是模型凭空改答案，而是送入模型的裁切图、回传坐标的参照尺寸和业务保存的原图没有保持同一套坐标系。把裁切、识别、坐标换算和字段校验拆开，漂移就能被定位，而不是靠反复调提示词碰运气。

先保存原图尺寸与裁切框，再明确坐标到底对应裁切图还是原图；文字内容和坐标都通过结构化校验后才进入业务库。

为什么同一张图的 OCR 坐标会漂移

工程现场最容易忽略的是“图”并不只有一个版本。上传后的原图可能先被压缩，随后又按版面区域裁切，视觉模型看到的是裁切结果；而前端标注层仍拿原图宽高绘制框。文字看起来没错，框却向左上角偏移，或者在不同分辨率下越来越不准。

OCR 服务的返回结构也不是一层字符串。以 Cloud Vision 为例，稀疏文字可以用 TEXT_DETECTION，密集文档则有 DOCUMENT_TEXT_DETECTION；结果里既有整段文本，也有 page、block、paragraph、word、symbol 层级。业务若只取第一段 description，再自行猜坐标，细粒度位置自然会丢失。

先把裁切图和原图放进同一条数据路径

建议在识别任务开始时固定三个事实：原图宽高、裁切框左上角偏移、送入模型的裁切图宽高。下面的示例只展示数据转换，不假设某个模型一定返回哪种 JSON。

type Crop struct {
    Left, Top int
    Width, Height int
}

type OCRBox struct {
    Text string
    X, Y, W, H int // 相对于裁切图
}

func ToOriginal(box OCRBox, crop Crop) OCRBox {
    box.X += crop.Left
    box.Y += crop.Top
    return box
}

这里的关键不是函数名，而是加法发生的位置：模型返回的 OCRBox 先以裁切图为参照，只有在回写标注或入库前，才通过 crop.Left 与 crop.Top 平移到原图。若裁切过程还做过缩放，还要先除以缩放比例再平移，不能只加偏移。

像素坐标和 normalizedVertices 各自适合什么场景

Cloud Vision 的 BoundingPoly 可以返回原图像素尺度的 vertices，也可以返回相对原图、范围为 0 到 1 的 normalizedVertices。前者适合在固定原图上画框，后者适合把结果传到不同尺寸的客户端，但前提是记录清楚它们对应的原图尺寸。

func Denormalize(x, y float64, width, height int) (int, int) {
    return int(x * float64(width)), int(y * float64(height))
}

结构化校验至少要检查四件事：四边形是否有四个顶点、坐标是否落在参照图范围内、归一化值是否位于 0 到 1、文本是否为空。校验失败时保留原始响应并进入人工复核或重试队列，不要把“看起来差不多”的框写入正式标注。

把模型输出收紧为可回放的结构

视觉模型适合理解复杂版面，但业务系统需要的是可回放的记录。推荐保存 image_sha256、originalWidth、originalHeight、裁切框、识别模式、原始响应和最终规范化结果。这样下次出现漂移，可以确认是图片变了、裁切变了，还是坐标转换变了。

如果使用结构化输出约束，仍要在服务端做第二次校验：模型返回的字段类型、数值范围和文本长度都不能直接信任。校验器还应拒绝未知字段，避免把模型偶然生成的说明文字当成坐标数据。

兼容处理：没有稳定坐标时如何降级

有些视觉模型只给出文字，不给可靠四边形；这时不要伪造坐标。可以把结果标记为“text-only”，让前端只展示文本，或回退到专门的 OCR 服务取得 vertices。如果原图经过旋转、透视或二次压缩，还应把图像预处理版本单独保存，避免拿不同版本做复核。

常见问题

裁切后只加左上角偏移就够了吗？

只有裁切没有缩放时才够。裁切同时缩放时，应先按缩放比例还原尺寸，再加裁切框偏移。

normalizedVertices 能不能直接存成百分比整数？

不建议。保留 0 到 1 的小数更容易跨设备复用，显示时再乘以当前参照图的宽高。

模型文字正确但框不准，应该先调提示词吗？

先检查原图 SHA、裁切框、缩放比例和坐标参照系。提示词只能影响模型理解，不能修复前端把裁切图坐标画到原图上的换算错误。

落地前的核对清单

• 同一条任务记录了原图与裁切图的尺寸。
• 坐标字段明确标注像素坐标或 normalizedVertices。
• 文本、四边形顶点和图像尺寸通过范围校验后才入库。
• 异常响应可用 image_sha256 和原始响应回放。