多模态模型读图前，图片缩放与裁切会影响什么

多模态模型读图前，缩放和裁切不是单纯的“把图片变小”。它们会同时改变可见细节、模型内部的图块数量、OCR 难度，以及检测框回写到原图时的坐标关系。更稳妥的做法是：先判断任务是否依赖小字或小目标，再等比缩放；裁切只围绕明确的关注区域进行，并保存裁切偏移；最后用原图坐标验证输出。

先把“读图任务”分成三类

如果任务是场景分类或判断“有没有一辆车”，缩放到较小尺寸通常仍可接受；如果任务是读取发票字段、代码截图或仪表盘刻度，决定性信息往往只占很小区域，应该保留更高细节；如果任务是目标检测或分割，还要同时保留完整上下文，否则模型看见目标，却无法判断它与边界、表格或其他目标的关系。

Gemini 图片理解文档给出的一个直观边界是：当图片两边都不超过 384 像素时，输入可按固定 token 处理；更大的图片会被切成 768×768 图块。以 960×540 为例，官方示例按裁切单元估算为 3×2 个图块。这个数字不是所有模型的通用计费承诺，但足以说明：盲目放大并不会免费获得更多理解能力。

等比缩放优先，裁切要留下坐标账本

预处理时先按最长边或模型输入建议做等比缩放，避免把圆形、表格和检测框拉成变形对象。只有当原图包含大量无关背景，或者业务已经知道关注区域时，才做裁切。裁切框建议保存为 x1,y1,x2,y2，并记录旋转方向；这两个元数据决定了模型输出能否回到原图。

from PIL import Image

def prepare_for_vision(path, box=None, max_side=1600):
    # 统一方向，避免手机照片的 EXIF 旋转让坐标上下颠倒
    image = Image.open(path).convert("RGB")
    image = Image.exif_transpose(image)
    original_size = image.size

    # 先裁切明确关注区；box 使用原图坐标，便于之后映射检测框
    offset = (0, 0)
    if box is not None:
        left, top, right, bottom = box
        image = image.crop((left, top, right, bottom))
        offset = (left, top)

    # 等比缩放，禁止直接把宽高分别拉到目标尺寸
    scale = min(1.0, max_side / max(image.size))
    if scale 

这段代码的关键不是某个固定的 max_side，而是把 offset 和 scale 当成请求的一部分保存。对于裁切后图片中的检测框，先除以缩放比例，再加回裁切偏移，才能得到原图坐标；如果还做了旋转，则要在坐标换算前统一方向。

分辨率选择要跟着信息密度走

Gemini 3 的 media_resolution 提供了低、中、高等级，官方将它描述为媒体输入可分配的最大 token 预算。低分辨率适合成本和延迟敏感、细节要求不高的场景；图表、密集文档和小字识别更适合中或高分辨率。实际项目不要只用一张“最清晰”的样本判断效果，应按任务抽取正常图、难图和边界图各一组。

用对照实验检查“清晰”是否真的有用

准备同一批图片的原图、等比缩放版和关注区裁切版，保持提示词与模型参数不变，只切换图片版本。记录四项结果：关键字段是否读对、目标是否漏检、输出坐标是否能回到原图、单次请求的 token 与延迟。若高分辨率只提高了无关背景的描述，却没有改善小字或小目标，就应优先优化裁切区域，而不是继续放大整张图片。

上线前还要固定失败处理：图片方向异常就重新执行 EXIF 纠正；裁切框越界就回退到原图；模型返回的框超出原图就记录为坐标转换错误，不要直接把结果写入业务数据库。

常见问题

缩放后再裁切，和先裁切再缩放一样吗？

不一定。先缩放可能已经抹掉小字；先裁切关注区再等比缩放，通常能把更多输入预算用于有效区域，但必须保留裁切偏移。

把图片放大能让模型找回已经丢失的细节吗？

不能。插值只能扩大像素，不会恢复原图中已经不可辨认的笔画或纹理；应从原图重新裁切或提高采集质量。

为什么同一张图换分辨率后回答更稳定？

因为模型获得的细节预算和图块覆盖不同。稳定性要用一组代表性样本和成本、延迟一起评估，不能只看一次回答。

把图片预处理从“统一压缩”改成“按任务分层”，再把裁切框、比例和方向写入请求日志，通常比单纯把所有图片拉到最大尺寸更容易获得可解释的结果。