登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  业界新闻

Copilot 基准站加入 harness 对照后,模型成绩应该怎样阅读

来源:17golang原创

时间:2026-11-18 18:34:48 260浏览 收藏

如果你在 Copilot 基准站看到某个 harness 的点位更高,先不要把它读成“这个模型绝对更强”。GitHub 这次新增的 Harnesses 视图,比较的是代理执行层:只有在模型相同、推理 effort 相同、基准任务可比时,才能把差异主要归因到 harness。正确的阅读顺序是先确认配对条件,再同时看完成率、单任务成本和运行波动。

这篇文章对应 GitHub 2026 年 11 月 17 日的官方公告,公告地址:https://github.blog/changelog/2026-11-17-github-copilot-benchmarks-site-adds-harness-comparisons/。文中只解释公告公开的图表和字段,不把预览数据外推成所有项目、账号或模型的普遍结论。

一句话判断:先问“是不是同一个模型、同一个 medium reasoning effort、同一个 benchmark”,再问“哪个 harness 的 resolution rate 更高、mean cost per task 是否更低,以及差异是否落在运行波动之外”。

先确认公告到底新增了什么

这次公告包含两个容易混在一起的变化:

  • Terminal-Bench-Science 0.1:把评测范围从软件工程任务扩展到科学研究工作流,任务覆盖生命科学、物理、地球、数学和工程科学等领域,并由领域专家编写和复核。
  • Harnesses 视图:在相同模型和相同推理 effort 的条件下,比较 GitHub Copilot agent harness,或使用同一模型的不同 harness。

两项能力都处于 public preview。因此读者应把它们当作新的观察入口,而不是稳定的排行榜或团队生产环境的保证。前者改变了可选 benchmark,后者改变了比较维度。

把模型与 harness 分成两层

“模型成绩”这个说法很容易省略执行环境。模型负责生成推理和动作建议,harness 则负责把任务上下文、工具调用、文件操作和结果回收组织起来。同一模型换一个 harness,最终完成率和成本可能不同;但这不等于模型本身变了。

基准测试中 benchmark、model、medium reasoning effort、harness 与 task result 的分层关系说明图
图1:模型、推理 effort 与 harness 的静态关系示意图;它帮助区分比较对象,不是运行截图。

看到一个比较结果时,可以按下面的层级逐项记录:

层级要问的问题为什么重要
Benchmark是不是同一组任务和同一评测规则?任务难度、输入和评分口径不同,数字不能直接横比。
Exact model两条结果使用的是不是同一个模型?不同模型的能力差异不能归到 harness。
Reasoning effort是不是同一个 effort,公告指定的配对是否为 medium?推理预算变化会改变完成率与成本。
Harness变化的是哪个代理执行层?工具编排、上下文处理和工作流策略可能在这里产生差异。

按坐标轴读取散点图

Harnesses 视图用散点图把两个结果放在一起:纵向看 resolution rate,横向看 mean cost per task。前者回答“任务完成得怎么样”,后者回答“平均完成一项任务花费多少”。一个点在左上区域,通常意味着同时具备较高完成率和较低平均成本;但这只是同一配对条件下的相对位置。

不要只盯着最高的纵坐标。若两个 harness 的完成率接近,成本差异可能更适合实际选型;若完成率差异明显,也要回头查看它是否伴随更高成本,以及任务类型是否与团队工作相似。

resolution rate 与 mean cost per task 散点图及配对差异区间的静态阅读示意图
图2:散点、连线、波动椭圆与配对区间的静态阅读示意图;示意点位不代表真实成绩。

图中的连线用于连接匹配结果,帮助读者观察同一模型在不同 harness 下的移动方向。若点向上且向左移动,代表在该配对中完成率提高、平均成本下降;若只向上移动,则要接受更高成本可能换来更高完成率的取舍。

检查精确配对与统计波动

公告明确限制了 Harnesses 视图的比较范围:只展示精确的模型配对,并固定在 medium reasoning effort。Copilot-only 配置,例如 GitHub Copilot Fusion,以及无法匹配的结果会被排除,而不是拿另一个模型凑成比较。

这条规则是阅读结果的第一道防线。遇到没有显示某个配置时,不要直接推断它表现差,也不要用不同模型的最高分替换缺失的配对;更稳妥的解释是它不满足当前视图的可比条件。

图上还会用阴影椭圆表现已发布运行中观察到的 run-to-run variation。它提醒你:同一配置重复运行也可能有波动。配对差异区域则并列给出 Copilot CLI 的 resolution advantage(百分点)和 cost savings(百分比),并附上约 95% 的 bootstrap interval。区间较宽时,应该降低对小差异的确定性表述。

从一个“高点”开始排查

  1. 先锁定 benchmark。确认你看的到底是软件工程基准还是新加入的 Terminal-Bench-Science 0.1,不要把科学研究工作流的结果当成代码修复能力的直接替代。
  2. 再抄下完整配对。记录模型名称、medium reasoning effort 和两个 harness;缺一项就暂时不下结论。
  3. 同时记录两个坐标。把 resolution rate 与 mean cost per task 放在同一行,避免只保存成功率而丢失成本条件。
  4. 最后看波动和区间。若差异落在明显的运行波动内,团队复盘时应写成“当前公开运行中观察到差异”,而不是“某 harness 必然更强”。

把公开结果转成团队决策记录

如果团队准备把这类数据用于工具评估,可以建立一张很小的记录表。表头至少包含:benchmark、任务版本或入口、exact model、reasoning effort、harness、resolution rate、mean cost per task、运行波动、观察日期和限制说明。

然后把决策拆成三个问题:第一,团队的真实任务更接近哪一个 benchmark;第二,预算更在意成功率、成本,还是二者的平衡;第三,是否愿意为同一模型在不同 harness 中的工具编排差异做一次小规模内部试用。这样做的好处是把公开评测当作筛选线索,而不是把它当作脱离任务场景的最终答案。

常见误读

  • 把 harness 分数当模型排行榜:不同模型或不同 effort 的结果不能用于解释 harness 差异。
  • 把 public preview 当成最终承诺:公告说明的是当前公开视图和评测范围,不代表所有账号、计划或入口都拥有同样能力。
  • 忽略成本:完成率更高不自动意味着团队总成本更低,必须一起看 mean cost per task。
  • 把一次运行当定论:运行波动和 bootstrap interval 都是提醒,应避免用很小的差异做绝对判断。

总结

Copilot 基准站加入 harness 对照后,最有价值的变化不是多了一个“谁第一”的数字,而是把模型能力与代理执行层拆开了。阅读时先确认 benchmark、exact model 和 medium reasoning effort,再用 resolution rate 与 mean cost per task 看取舍,最后结合运行波动和约 95% bootstrap interval 判断差异是否值得行动。对团队来说,保留配对条件和限制说明,比摘走一个孤立百分比更可靠。

相关问题

为什么同一个模型换 harness 后成绩会变?

模型之外还有工具编排、上下文管理和任务执行策略。Harnesses 视图正是为了观察这一执行层差异,但必须保持模型和 effort 可比。

为什么有些 Copilot 配置没有出现在 Harnesses 视图?

公告说明 Copilot-only 配置和无法形成精确配对的结果会被排除。缺席本身不能证明配置性能更差。

Terminal-Bench-Science 0.1 能不能直接代表日常写代码表现?

不能直接代表。它关注科学研究工作流,适合补充观察代理在另一类任务上的表现,不能替代与团队代码任务更接近的基准。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>