Copilot 基准站加入 harness 对照后,模型成绩应该怎样阅读
来源:17golang原创
时间:2026-11-18 18:34:48 260浏览 收藏
如果你在 Copilot 基准站看到某个 harness 的点位更高,先不要把它读成“这个模型绝对更强”。GitHub 这次新增的 Harnesses 视图,比较的是代理执行层:只有在模型相同、推理 effort 相同、基准任务可比时,才能把差异主要归因到 harness。正确的阅读顺序是先确认配对条件,再同时看完成率、单任务成本和运行波动。
这篇文章对应 GitHub 2026 年 11 月 17 日的官方公告,公告地址:https://github.blog/changelog/2026-11-17-github-copilot-benchmarks-site-adds-harness-comparisons/。文中只解释公告公开的图表和字段,不把预览数据外推成所有项目、账号或模型的普遍结论。
一句话判断:先问“是不是同一个模型、同一个 medium reasoning effort、同一个 benchmark”,再问“哪个 harness 的 resolution rate 更高、mean cost per task 是否更低,以及差异是否落在运行波动之外”。
先确认公告到底新增了什么
这次公告包含两个容易混在一起的变化:
- Terminal-Bench-Science 0.1:把评测范围从软件工程任务扩展到科学研究工作流,任务覆盖生命科学、物理、地球、数学和工程科学等领域,并由领域专家编写和复核。
- Harnesses 视图:在相同模型和相同推理 effort 的条件下,比较 GitHub Copilot agent harness,或使用同一模型的不同 harness。
两项能力都处于 public preview。因此读者应把它们当作新的观察入口,而不是稳定的排行榜或团队生产环境的保证。前者改变了可选 benchmark,后者改变了比较维度。
把模型与 harness 分成两层
“模型成绩”这个说法很容易省略执行环境。模型负责生成推理和动作建议,harness 则负责把任务上下文、工具调用、文件操作和结果回收组织起来。同一模型换一个 harness,最终完成率和成本可能不同;但这不等于模型本身变了。

看到一个比较结果时,可以按下面的层级逐项记录:
| 层级 | 要问的问题 | 为什么重要 |
|---|---|---|
| Benchmark | 是不是同一组任务和同一评测规则? | 任务难度、输入和评分口径不同,数字不能直接横比。 |
| Exact model | 两条结果使用的是不是同一个模型? | 不同模型的能力差异不能归到 harness。 |
| Reasoning effort | 是不是同一个 effort,公告指定的配对是否为 medium? | 推理预算变化会改变完成率与成本。 |
| Harness | 变化的是哪个代理执行层? | 工具编排、上下文处理和工作流策略可能在这里产生差异。 |
按坐标轴读取散点图
Harnesses 视图用散点图把两个结果放在一起:纵向看 resolution rate,横向看 mean cost per task。前者回答“任务完成得怎么样”,后者回答“平均完成一项任务花费多少”。一个点在左上区域,通常意味着同时具备较高完成率和较低平均成本;但这只是同一配对条件下的相对位置。
不要只盯着最高的纵坐标。若两个 harness 的完成率接近,成本差异可能更适合实际选型;若完成率差异明显,也要回头查看它是否伴随更高成本,以及任务类型是否与团队工作相似。

图中的连线用于连接匹配结果,帮助读者观察同一模型在不同 harness 下的移动方向。若点向上且向左移动,代表在该配对中完成率提高、平均成本下降;若只向上移动,则要接受更高成本可能换来更高完成率的取舍。
检查精确配对与统计波动
公告明确限制了 Harnesses 视图的比较范围:只展示精确的模型配对,并固定在 medium reasoning effort。Copilot-only 配置,例如 GitHub Copilot Fusion,以及无法匹配的结果会被排除,而不是拿另一个模型凑成比较。
这条规则是阅读结果的第一道防线。遇到没有显示某个配置时,不要直接推断它表现差,也不要用不同模型的最高分替换缺失的配对;更稳妥的解释是它不满足当前视图的可比条件。
图上还会用阴影椭圆表现已发布运行中观察到的 run-to-run variation。它提醒你:同一配置重复运行也可能有波动。配对差异区域则并列给出 Copilot CLI 的 resolution advantage(百分点)和 cost savings(百分比),并附上约 95% 的 bootstrap interval。区间较宽时,应该降低对小差异的确定性表述。
从一个“高点”开始排查
- 先锁定 benchmark。确认你看的到底是软件工程基准还是新加入的 Terminal-Bench-Science 0.1,不要把科学研究工作流的结果当成代码修复能力的直接替代。
- 再抄下完整配对。记录模型名称、medium reasoning effort 和两个 harness;缺一项就暂时不下结论。
- 同时记录两个坐标。把 resolution rate 与 mean cost per task 放在同一行,避免只保存成功率而丢失成本条件。
- 最后看波动和区间。若差异落在明显的运行波动内,团队复盘时应写成“当前公开运行中观察到差异”,而不是“某 harness 必然更强”。
把公开结果转成团队决策记录
如果团队准备把这类数据用于工具评估,可以建立一张很小的记录表。表头至少包含:benchmark、任务版本或入口、exact model、reasoning effort、harness、resolution rate、mean cost per task、运行波动、观察日期和限制说明。
然后把决策拆成三个问题:第一,团队的真实任务更接近哪一个 benchmark;第二,预算更在意成功率、成本,还是二者的平衡;第三,是否愿意为同一模型在不同 harness 中的工具编排差异做一次小规模内部试用。这样做的好处是把公开评测当作筛选线索,而不是把它当作脱离任务场景的最终答案。
常见误读
- 把 harness 分数当模型排行榜:不同模型或不同 effort 的结果不能用于解释 harness 差异。
- 把 public preview 当成最终承诺:公告说明的是当前公开视图和评测范围,不代表所有账号、计划或入口都拥有同样能力。
- 忽略成本:完成率更高不自动意味着团队总成本更低,必须一起看 mean cost per task。
- 把一次运行当定论:运行波动和 bootstrap interval 都是提醒,应避免用很小的差异做绝对判断。
总结
Copilot 基准站加入 harness 对照后,最有价值的变化不是多了一个“谁第一”的数字,而是把模型能力与代理执行层拆开了。阅读时先确认 benchmark、exact model 和 medium reasoning effort,再用 resolution rate 与 mean cost per task 看取舍,最后结合运行波动和约 95% bootstrap interval 判断差异是否值得行动。对团队来说,保留配对条件和限制说明,比摘走一个孤立百分比更可靠。
相关问题
为什么同一个模型换 harness 后成绩会变?
模型之外还有工具编排、上下文管理和任务执行策略。Harnesses 视图正是为了观察这一执行层差异,但必须保持模型和 effort 可比。
为什么有些 Copilot 配置没有出现在 Harnesses 视图?
公告说明 Copilot-only 配置和无法形成精确配对的结果会被排除。缺席本身不能证明配置性能更差。
Terminal-Bench-Science 0.1 能不能直接代表日常写代码表现?
不能直接代表。它关注科学研究工作流,适合补充观察代理在另一类任务上的表现,不能替代与团队代码任务更接近的基准。
-
301 收藏
-
212 收藏
-
381 收藏
-
146 收藏
-
科技周边 · 业界新闻 | 4小时前 | github · 审计日志 GitHub Copilot Enterprise Managed Users Microsoft Agent 365 agent activity412 收藏
-
445 收藏
-
152 收藏
-
157 收藏
-
科技周边 · 业界新闻 | 7小时前 | github · copilot · AI编程 · 业界新闻 · GitHub GitHub Copilot Copilot Fusion 模型支持 入口核对282 收藏
-
423 收藏
-
124 收藏
-
238 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习