多模态模型图片输入怎么控成本：分辨率、细节档位与长图拆分

把一张手机拍的发票、合同或故障截图交给多模态模型时，真正影响成本的往往不是图片文件从 2MB 压到 1MB，而是模型到底看到了多少有效细节。低细节适合判断“有没有印章”这类粗问题，高细节才适合核对小字号金额；遇到一张很长的清单，先按内容分块通常比整张原图硬塞更稳定。

先判断：模型需要看清什么

一个客服机器人要判断截图里是不是登录页，和财务流程要读取“价税合计”并不是同一类视觉任务。前者只需要看布局和大色块，后者需要保留文字边缘、表格线和数字间距。把两种任务都固定成最高档位，账单和延迟都会一起上升；把两种任务都压成低档位，又会得到看似流畅但字段经常漏掉的结果。

OpenAI 的图像输入接口把 detail 分成 low、high 和 auto，官方说明中低细节会使用更小的图像表示并消耗较少输入Token；Google Gemini 的图像说明也把更高媒体分辨率与更细的文字识别、更多Token和更高延迟联系起来。它们的参数名不同，但决策逻辑相同：先明确验收目标，再决定需要的视觉预算。

低细节、高细节和自动档位怎么选

可以把图片任务拆成三档。低细节负责路由和粗筛，例如判断图片类别、是否为空白、是否存在某个大区域；高细节用于小字、密集表格和相邻数字的区分；自动档位适合任务类型不稳定、但已经有一组回归样本能持续监控的场景。

这里别急着把整张图提升到最高档位。更经济的做法是先用低细节判断是否值得继续，再对含有目标字段的区域做局部处理。局部图也要保留标题、列名或页码，否则模型虽然看清了数字，却不知道数字属于哪一列。

分辨率不是越大越好，关键是有效信息尺寸

图片四周的白边、重复的背景和没有文字的装饰区域，对识别几乎没有帮助。缩放前先做边界检查：目标字段在原图中只有十几像素高时，压缩会直接抹掉笔画；目标字段本来就足够清楚时，再放大整张图只会让输入变重。

工程上可以用一组固定样本做三次对照：原图、去除空白后的裁切图、按业务区块拆出的局部图。每次保持提示词和模型设置不变，只记录四项数据：

• 关键字段完全正确的比例，而不是“看起来差不多”的主观评分；
• 单张图的输入Token和平均响应时间；
• 数字、日期、表头混淆的具体类型；
• 因不确定而触发人工复核或再次请求的比例。

如果裁切后正确率没有提升，通常不是继续放大就能解决。先检查拍摄倾斜、反光、运动模糊和文字是否已经超出原始像素能力；模型无法从不存在的细节中恢复可靠答案。

长图怎么拆，才不会把上下文切断

长发票、巡检报告和聊天截图经常超过一次输入适合处理的范围。切分时不要机械地按固定高度截断，优先找业务边界：页眉和表头放在每个相关块的开头，明细行按完整记录切分，跨块的合计区域单独保留一份。

每个块都带一个稳定编号，例如 invoice-07-block-03，输出时要求模型返回块号、字段名、原文值和置信说明。应用层只合并结构化字段，不直接把多段自然语言拼成最终账单。遇到同一字段在相邻块重复出现，保留原始块号并进入冲突检查，而不是静默覆盖。

for block in blocks:
    result = read_image(block, detail="high")
    save(block.id, result.fields)

merged = merge_by_field(block_results)
check_conflicts(merged)

这一步的价值不只是省Token。分块后每个结果都能回到原图位置，人工复核时知道应该放大哪一块；如果某块失败，也只需重做该块，不必重发整张合同。

上线前做一组能复盘的对照实验

采用路径建议分三步走。第一周只用历史图片离线跑基线，比较低细节、自动档位和局部高细节；第二步把成本更低的策略放到少量真实请求中，保留失败样本；第三步再根据字段级错误决定是否扩大局部高细节范围。不要用一次“回答很漂亮”的样本替代统计结果。

建议把以下记录写入请求日志：图片尺寸、裁切区域、细节档位、块编号、输入Token、延迟、字段校验结果和人工复核结论。这样才能回答“贵在哪里”和“错在哪里”，而不是只知道本月总调用量变了。

常见问题

图片压缩后文件更小，为什么成本没有明显下降？

文件字节数和模型视觉处理预算不是同一个指标。压缩如果损伤文字边缘，可能还会带来更多重试；应同时看有效分辨率、输入Token和字段正确率。

长图必须切成很多小图吗？

不必固定切很多块。先按表头、页面和业务区块找边界，能让每块独立回答一个字段集合即可；块过多会增加合并和请求管理成本。

什么时候适合直接使用自动细节档位？

当图片类型差异大、模型服务能稳定选择处理级别，并且你有回归样本监测字段错误时，自动档位比较省维护。若任务只读小字，直接明确使用高细节或局部图更容易验收。

如何判断该继续提高分辨率还是转人工？

如果原图已经模糊、反光严重或目标文字像素不足，继续放大没有可靠收益。把这类样本标记为不可判定并转人工，比让模型生成一个看似确定的数字安全。

把视觉预算变成可观察的工程参数

多模态输入优化的核心不是追求一套永远不变的参数，而是让“低细节粗筛、局部高细节核对、长图分块合并”形成可回放的路径。每次调整都绑定同一批样本，比较字段正确率、Token、延迟和复核比例；当数据证明某个区域确实需要更多视觉预算时，再把预算加在那里。