GitHub Copilot Evals 公测:把「这个 skill 到底变强了没有」做成可回归的测试
GitHub 2026-11-17 把 Copilot Evals 推进公测:给 skill、自定义 agent 与 MCP 写可重复测试,改完重跑看回归;本地引擎 Vally,跑前需人工批准。
2026-11-18 · GitHub Changelog(官方原文,2026-11-17,一手实取)
发布 2026-11-18核实 2026-11-18要点
- 2026-11-17,GitHub 把 Copilot Evals 推进公测,定位不是「跑基准排名」,而是给你自己的 Copilot 配置做可重复的行为测试。
- 官方给它下了一个很朴素的定义:eval 是一段可重复的 AI 行为测试——给 agent 一个真实任务、描述「好结果长什么样」、然后同时检查结果与达成路径。
- 覆盖对象明确三类:skill、自定义 agent、MCP 工具。换句话说,它测的是「你加的定制件」,不是「模型本身」。
- 使用方式两条:用自己的话让 Copilot 建 eval,或用
/eval命令。跑完能看哪几条检查通过 / 失败、能追问失败原因、能对比改动前后的两次运行。 - 评测引擎是 Vally(官方称其为「可扩展的本地评测工具」);入口三处:VS Code 扩展、Copilot CLI 插件、Copilot app 的 Customize → github/evals marketplace。
- 公测覆盖 Copilot Individual / Business / Enterprise 三档;每次运行前需人工批准。
它解决的是哪个具体问题
把 prompt、skill、agent 定义、MCP 工具这一层叫做「定制层」。过去一年,这一层的调优基本靠手感:
- 改一版
SKILL.md或 agent 指令; - 随手试两个任务,感觉「好像更利索了」;
- 上线。
问题在第 2 步——AI 的输出本来就会一次一个样。官方公告把这点写得很直白:"AI output can change from one run to the next, so one good answer doesn't tell you whether a customization works well for you." 一次好答案说明不了定制是否有效,同理一次坏答案也说明不了它坏了。
Evals 补的就是这一环:把「感觉变好了」换成「同一套题重跑,通过率没掉」。官方给的落地路径是「改完定制件 → 重跑同一个 eval → 抓住你关心的行为回归」。
一个 eval 里到底有什么
按官方描述拆,最小可用单元是三件套:
| 要素 | 官方表述 | 工程上对应什么 |
|---|---|---|
| 任务 | 给 agent 一个「真实的任务(realistic task)」 | 从你项目里真跑过的活儿里取,不要造 toy 题 |
| 判据 | 描述「好结果长什么样(describe what a good result looks like)」 | 可判定的验收条件:文件是否生成、字段是否齐全、测试是否通过 |
| 过程 | 同时检查「它是怎么走到的(how the agent got there)」 | 工具调用序列、有没有越权读文件、有没有多余的重试 |
第三条是这篇公告里最容易被略过、但最有价值的部分:只看结果不看路径,会把「碰巧对」当成「稳定对」。
与「跑公开基准」的区别,别混用
| 维度 | 公开基准(SWE-bench / Terminal-Bench 等) | Copilot Evals |
|---|---|---|
| 题目来源 | 公开数据集,所有人同一套 | 你自己项目的真实任务 |
| 目的 | 跨模型排名、选型 | 单配置回归、防退化 |
| 判据 | 数据集自带答案 | 你自己写的验收条件 |
| 可比性 | 可横向比较 | 只与你自己的历史版本比 |
AI 之家 观点:这两件事经常被混为一谈。看到「某模型在某榜第一」就去改团队的 skill 配置,是把排名当成了本地证据;反过来,只跑私有 eval 又会陷入「自己出题自己判卷」的盲区。选型看公开榜,上线看私有 eval——两条腿缺一条都站不稳。
怎么落地(四条,按顺序做)
- 先挑一条最常出错的活,不要一上来建十个 eval。优先选「改一次要返工两次」的任务,比如跨文件改接口签名、按团队规范写 changelog。
- 判据写成可执行的检查。能从产物验证的(编译过没过、测试红不红、字段在不在)优先;只能靠人读的,写清「出现即失败」的具体特征。
- 跑两次再改。先跑基线两次看波动区间——如果同一个 eval 两次结果都不同,说明判据写松了,别急着拿它当门禁。
- 改完必须重跑同一套。这就是回归测试的全部意义;不重跑等于没建。
五条边界,官方这版没交代
| 未交代项 | 影响 | 怎么办 |
|---|---|---|
| 没有内置基准题库 | 你得自己出题,冷启动成本在你这侧 | 从 git 历史里捞真实任务当种子 |
| 未提 CI 集成 | 目前是「人点一下跑一次」,不是 PR 门禁 | 当成本地开发环节的检查,别当合并闸门 |
| 未提跨模型对比能力 | 想比「换模型后是否更强」这套不够用 | 那类问题仍走公开榜 + 自建脚本 |
| 未给判定一致性的度量 | 判据由人写,可能自己就不稳定 | 见上「跑两次」那步 |
| 未说明评测数据的落盘与出网 | 涉及代码与提示词外流的合规判断 | 按 Vally 与该插件的隐私条款逐条核 |
相关阅读
- 工具:GitHub Copilot(已补本批 Ignite 变更) · Codex CLI · Claude Code
- 同批资讯:Copilot 代码审查自适应与密钥检测 · Copilot Fusion 登 Terminal-Bench 4.1 · 微软 Ignite 七款 MAI
- 概念:私有评测集 · Agent 验证 · Agent Harness · 每任务成本 · 奖励攻击
来源
- GitHub Copilot Evals is now in public preview(GitHub Changelog,2026-11-17,实取)
- Copilot code review: Adaptive effort, secret detection, and more(同日条目,实取)
本卡片由 AI 之家 编辑部根据公开资料整理,非厂商付费内容;能力边界以 GitHub 官方公告为准,欢迎在 反馈邮箱 反馈更新。
常见问题
Copilot Evals 和跑 SWE-bench 这类公开基准有什么区别?
方向相反。公开基准是「用同一套题给所有模型排名」,Copilot Evals 是「用你自己的题给自己的配置做回归」——题目来自你项目的真实任务,判据是你自己写的「好结果长什么样」,目的不是比较谁更强,而是你改了 skill、agent 或 MCP 之后,行为有没有退化。
eval 跑在云端还是本地?
本地。官方写明 Copilot Evals 以 Vally 作为评测引擎,而 Vally 被定义为「可扩展的本地评测工具(extensible local eval tool)」,安装方式是 VS Code 扩展、Copilot CLI 插件、Copilot app 的 Customize 里的 marketplace 插件——都是客户端侧组件。评测数据是否出本机,官方公告未逐条说明,需按该工具的隐私条款核对。
会自动跑吗?
不会。官方明确「每次运行前都需要你批准(You approve each run before it starts)」。这条对成本与安全都重要:eval 会真实调用模型与工具,跑一次就是一次真实消耗。
哪些套餐能用?
公测覆盖 Copilot Individual、Copilot Business 与 Copilot Enterprise 三档计划。VS Code 走 Marketplace 的扩展,Copilot CLI 走插件安装,Copilot app 则是在 Customize 里添加 github/evals marketplace 后安装。