多模态模型评测怎样分别记录图像理解与文本生成指标怎样在批处理代码中减少额外分配

多模态模型评测最容易出现的记录问题，是把图像理解和文本生成的分数都塞进一个扁平字典。这样做短期看起来省事，批次一多就会分不清某个数字属于哪类任务，后续也难以比较模型在“看图”与“写答案”上的差异。

更稳妥的做法是把结果拆成 vision 和 text_generation 两个域，再在批处理边界复用工作对象，只在批次结束时统一序列化。Hugging Face Evaluate 官方文档把评测能力分为 metrics、comparisons 和 measurements，并提供按任务选择指标的思路；本文沿用这个分域原则，代码中的指标适配函数仍需替换成你的真实模型与数据集。

官方地址：https://huggingface.co/docs/evaluate/index

如果一条样本同时包含图片和生成文本，先把样本级原始结果分开，再计算各自的指标；不要用一个“总分”掩盖两个环节的变化。批处理优化的重点也不是把所有对象都做成全局单例，而是让容器生命周期和批次边界一致。

先确认两类任务不是同一种指标

图像理解通常关心分类、检测、视觉问答或图文匹配中的任务结果；文本生成则更关心生成文本和参考答案之间的重合度、质量或人工评审结果。两类任务的输入形状、参考数据和失败原因都不同，混用字段会让排查失去方向。

Evaluate 的指标选择文档把指标分为通用指标、任务专用指标和数据集专用指标。这个分类很适合落到工程代码里：先确定任务域，再决定指标对象和参数，而不是看到一个数字字段就把它放进公共结果对象。

用稳定结构保存批次结果

结果对象至少要保留批次标识、样本数量、图像理解域和文本生成域。域内字段可以随任务变化，但域名不要随着某次实验临时改名，否则后处理脚本会不断增加兼容分支。

from dataclasses import dataclass, field
from typing import Any

@dataclass
class EvalBatch:
    # 两个评测域分开保存，避免视觉分数和文本分数互相覆盖。
    batch_id: str
    sample_count: int = 0
    vision: dict[str, Any] = field(default_factory=dict)
    text_generation: dict[str, Any] = field(default_factory=dict)

    def reset_metrics(self) -> None:
        # 复用同一个批次对象时，只清空可变指标，不改批次身份。
        self.vision.clear()
        self.text_generation.clear()

这里的 dataclass 只是结果契约，不代表某个模型的固定输出。视觉任务可以记录 accuracy、iou 或任务专用字段，文本生成可以记录 bleu、rouge_l 或人工评审摘要，最终以数据集和任务定义为准。

把计算放在批次边界，减少临时对象

批量评测里常见的额外分配有三类：每条样本都新建结果字典、每轮都重复加载指标对象，以及循环中不断把小字典拼接成最终 JSON。可以把指标对象在批次外初始化，把样本结果写进可复用的记录，再在批次结束时生成一次最终对象。

import json
from pathlib import Path

def score_vision(records: list[dict]) -> dict[str, float]:
    # 这里替换为真实的图像理解指标计算，不在示例中伪造模型分数。
    correct = sum(item["image_ok"] for item in records)
    total = len(records) or 1
    return {"accuracy": correct / total}

def score_text(records: list[dict]) -> dict[str, float]:
    # 这里替换为真实的文本生成指标；参考答案缺失时应显式记录状态。
    comparable = [item for item in records if item.get("reference") is not None]
    return {"comparable_count": float(len(comparable))}

def evaluate_batches(samples: list[dict], output_file: str) -> None:
    # 每个批次复用这一组容器，避免为每条样本构造完整结果对象。
    batch = EvalBatch(batch_id="multimodal-demo")
    results: list[dict] = []
    reusable: dict = {}

    for start in range(0, len(samples), 32):
        chunk = samples[start:start + 32]
        reusable.clear()
        reusable["records"] = chunk

        batch.sample_count = len(chunk)
        batch.vision = score_vision(chunk)
        batch.text_generation = score_text(chunk)

        # 只复制本批次需要落盘的值，避免把工作对象的后续变化带进结果。
        results.append({
            "batch_id": batch.batch_id,
            "sample_count": batch.sample_count,
            "vision": dict(batch.vision),
            "text_generation": dict(batch.text_generation),
        })

    # 一次性序列化；父目录由调用方提前准备，写入失败要保留异常。
    Path(output_file).write_text(
        json.dumps(results, ensure_ascii=False, indent=2),
        encoding="utf-8",
    )

示例有意保留了 score_vision 和 score_text 两个适配边界：真正接入 Evaluate 时，可以在批次级加载指标并调用 compute，但不要因为“能算出一个数”就把不同任务的参数拼成同一份输入。

什么时候应该保留原始结果

如果评测需要回溯错误样本，不能只保存平均分。建议每批至少保留样本键、任务域、是否可比较和必要的短摘要；图片本体、完整提示词或长文本可以放在独立对象存储中，结果文件只保存引用。

图像理解指标缺少标签时，应该记录 reference_available=false，而不是把空参考答案当成 0 分。文本生成指标同样需要说明参考答案是否存在、语言是否一致、是否经过截断。这样做会多几个元数据字段，却能避免把“没有评测条件”和“模型表现差”混为一谈。

用保存接口固定可追溯结果

Evaluate 文档提供 evaluate.save 保存结果，并会附带时间、提交信息和 Python 系统信息。若你使用该接口，应把模型标识、数据集版本、提示词模板和指标配置作为参数或旁车元数据一起保存；如果用自己的 JSON 写出器，也要保持同样的追溯字段。

import evaluate

def save_metric_snapshot(result: dict, folder: str) -> None:
    # result 只放已经计算完成的标量和少量元数据，避免把图片或长文本塞进指标文件。
    evaluate.save(
        folder,
        **result,
        task="multimodal-evaluation",
        metric_schema="vision+text_generation-v1",
    )

这里的 metric_schema 是应用自定义的版本标记，不是 Evaluate 的内置字段。只要结果结构发生破坏性变化，就递增 schema 版本，后处理程序可以据此判断是否需要迁移。

批处理优化后的核对清单

常见问题

图像理解和文本生成能不能直接求一个平均分？

一般不建议直接平均。除非你先定义了统一量纲、权重和业务目标，否则平均分会隐藏某个域的退化。保留分域指标，必要时再在报告层做明确标注的综合评分。

为了减少分配，能不能让所有批次共享同一个结果字典？

可以共享工作容器，但落盘前必须复制本批次需要的值，并避免异步任务继续持有它。共享对象的收益小于数据串批的风险时，应优先选择清晰的生命周期。

没有文本参考答案时还要不要记录文本生成结果？

要记录，但把结果标成不可直接比较，并补充人工评审、模型辅助评估或无参考指标的来源说明。不要把空参考当作低分。

这套方案的重点不是某一个指标名称，而是把评测域、数据条件和对象生命周期写进结果结构。先分开保存图像理解与文本生成指标，再围绕批次边界复用容器并统一序列化，通常就能同时改善可读性、可追溯性和批处理开销。