多模态模型评测怎样分别记录图像理解与文本生成指标怎样完成一个可复用的最小示例

我做多模态评测时，最容易先得到一个“看起来不错”的文本分数：模型描述和参考答案有不少相同词，但它可能把图里的颜色、数量或位置看错了。更稳妥的做法是把图像理解指标与文本生成指标拆成两条轴，再用同一个样本 ID 关联。下面用一组固定的教学样本说明这个拆分方式，数字是手工推导示例，不是任何模型的实测成绩。

评测结果至少要同时保留视觉事实是否正确、文本表达与参考答案的匹配程度、解析失败和输入失败。两个分数不能未经定义就相加成“多模态总分”。

先把基线问题说清楚

假设评测集只包含两个颜色与形状描述任务。第一条模型正确识别“红色圆形”，第二条把参考答案“蓝色方形”写成“蓝色图形”。如果只看文本相似度，第二条仍可能获得不低的分数，视觉错误就会被掩盖。

我的处理习惯是先写清基线：视觉轴回答“模型识别的受限事实是否正确”，文本轴回答“模型输出与参考描述在当前文本指标下有多接近”。这两个问题的分母、解析规则和失败类型都要单独保留。

用一条样本记录连接两类指标

每条样本至少保留 id、image_id、gold_label、pred_label、reference 和 prediction。前两个字段负责追踪样本与图像资产，中间两个字段描述受限视觉事实，最后两个字段才用于文本指标。参考答案不能拼进模型输入，image_id 也只是资产标识。

用离线小脚本得到两个可追溯汇总

下面的脚本只使用 Python 标准库，故意采用自定义中文字符袋 F1 展示记录结构；它不是 ROUGE，也不代表语义相似度。代码中的两条样本与上面的基线一致。

import json
from collections import Counter
from pathlib import Path

# 这是固定的教学样本，不调用模型，也不代表真实模型成绩
samples = [
    {"id": "img-a", "image_id": "asset-a", "gold_label": "red",
     "pred_label": "red", "reference": "红色圆形", "prediction": "红色圆形"},
    {"id": "img-b", "image_id": "asset-b", "gold_label": "blue",
     "pred_label": "red", "reference": "蓝色方形", "prediction": "蓝色图形"},
]

def char_f1(prediction, reference):
    # 以字符计数计算最小重叠指标，明确它不理解语义和视觉事实
    p = Counter(c for c in prediction if not c.isspace())
    r = Counter(c for c in reference if not c.isspace())
    pn, rn = sum(p.values()), sum(r.values())
    if not pn or not rn:
        return float(pn == rn)
    overlap = sum((p & r).values())
    return 2 * overlap / (pn + rn)

rows = []
for sample in samples:
    # 两类结果放在同一条记录，便于追踪事实错但文本相似的样本
    rows.append({
        "id": sample["id"],
        "image_id": sample["image_id"],
        "vision_correct": int(sample["pred_label"] == sample["gold_label"]),
        "text_char_f1": char_f1(sample["prediction"], sample["reference"]),
    })

if not rows:
    raise ValueError("评测样本不能为空")

report = {
    "dataset_revision": "toy-v1",
    "model_revision": "mock-output-v1",
    "prompt_revision": "label-and-description-v1",
    "text_metric": "custom-char-bag-f1-v1",
    "vision": {"n": len(rows), "accuracy": sum(r["vision_correct"] for r in rows) / len(rows)},
    "text": {"n": len(rows), "macro_char_f1": sum(r["text_char_f1"] for r in rows) / len(rows)},
    "rows": rows,
}
# 把逐条结果和版本元数据一起写入报告，方便后续重算和追责
Path("report.json").write_text(
    json.dumps(report, ensure_ascii=False, indent=2), encoding="utf-8"
)

按固定输入手工计算，视觉标签正确率是 0.5，文本宏平均字符 F1 是 0.875。第二条文本分数为 0.75，但颜色标签错了，所以它应进入视觉错误集合。这个对比就是拆分指标的价值：表达接近不能替代事实正确。

对比结果时不要丢掉失败类型

报告中的 rows 用于回溯，vision.accuracy 与 text.macro_char_f1 只做各自汇总。生产评测还应固定数据集版本、模型版本、提示词、图像预处理、生成参数和解析器版本，并保留原始回答。

如果接入 Hugging Face Evaluate，应先按任务选择指标，再在报告中写清实现版本、输入格式、分词规则和是否返回逐样本结果。官方文档把指标分为通用、任务特定和数据集特定类别；ROUGE 指标卡也明确要求提供 predictions 与 references，并支持按样本返回结果。

Evaluate 官方文档：https://huggingface.co/docs/evaluate/index。指标选择：https://huggingface.co/docs/evaluate/choosing_a_metric。ROUGE 指标卡：https://huggingface.co/spaces/evaluate-metric/rouge/blob/main/README.md。

为什么我不建议先做一个总分

视觉标签正确率与文本重叠衡量的对象不同，直接平均会让语言相似掩盖事实错误。业务确实需要总分时，应先定义权重、缺失处理和失败门槛，同时保留两条原始指标；否则一次更换文本评分器或样本分母变化，就会被误读成模型能力提升。

换成真实模型输出后，先固定图像资产、提示词、模型版本、解析规则和样本 ID，再比较两条指标及其交叉分布。这个最小示例适合搭建记录骨架，不足以证明通用图像理解能力，也不应替代针对 OCR、空间关系、计数或事实一致性的专门评测。