跳到主内容

GitHub Copilot Evals 公测:把「这个 skill 到底变强了没有」做成可回归的测试

GitHub 2026-11-17 把 Copilot Evals 推进公测:给 skill、自定义 agent 与 MCP 写可重复测试,改完重跑看回归;本地引擎 Vally,跑前需人工批准。

2026-11-18 · GitHub Changelog(官方原文,2026-11-17,一手实取)

发布 2026-11-18核实 2026-11-18

要点

  • 2026-11-17,GitHub 把 Copilot Evals 推进公测,定位不是「跑基准排名」,而是给你自己的 Copilot 配置做可重复的行为测试。
  • 官方给它下了一个很朴素的定义:eval 是一段可重复的 AI 行为测试——给 agent 一个真实任务、描述「好结果长什么样」、然后同时检查结果与达成路径。
  • 覆盖对象明确三类:skill、自定义 agent、MCP 工具。换句话说,它测的是「你加的定制件」,不是「模型本身」。
  • 使用方式两条:用自己的话让 Copilot 建 eval,或用 /eval 命令。跑完能看哪几条检查通过 / 失败、能追问失败原因、能对比改动前后的两次运行。
  • 评测引擎是 Vally(官方称其为「可扩展的本地评测工具」);入口三处:VS Code 扩展、Copilot CLI 插件、Copilot app 的 Customize → github/evals marketplace。
  • 公测覆盖 Copilot Individual / Business / Enterprise 三档;每次运行前需人工批准。

它解决的是哪个具体问题

把 prompt、skill、agent 定义、MCP 工具这一层叫做「定制层」。过去一年,这一层的调优基本靠手感:

  1. 改一版 SKILL.md 或 agent 指令;
  2. 随手试两个任务,感觉「好像更利索了」;
  3. 上线。

问题在第 2 步——AI 的输出本来就会一次一个样。官方公告把这点写得很直白:"AI output can change from one run to the next, so one good answer doesn't tell you whether a customization works well for you." 一次好答案说明不了定制是否有效,同理一次坏答案也说明不了它坏了。

Evals 补的就是这一环:把「感觉变好了」换成「同一套题重跑,通过率没掉」。官方给的落地路径是「改完定制件 → 重跑同一个 eval → 抓住你关心的行为回归」。

一个 eval 里到底有什么

按官方描述拆,最小可用单元是三件套:

要素官方表述工程上对应什么
任务给 agent 一个「真实的任务(realistic task)」从你项目里真跑过的活儿里取,不要造 toy 题
判据描述「好结果长什么样(describe what a good result looks like)」可判定的验收条件:文件是否生成、字段是否齐全、测试是否通过
过程同时检查「它是怎么走到的(how the agent got there)」工具调用序列、有没有越权读文件、有没有多余的重试

第三条是这篇公告里最容易被略过、但最有价值的部分:只看结果不看路径,会把「碰巧对」当成「稳定对」。

与「跑公开基准」的区别,别混用

维度公开基准(SWE-bench / Terminal-Bench 等)Copilot Evals
题目来源公开数据集,所有人同一套你自己项目的真实任务
目的跨模型排名、选型单配置回归、防退化
判据数据集自带答案你自己写的验收条件
可比性可横向比较只与你自己的历史版本比

AI 之家 观点:这两件事经常被混为一谈。看到「某模型在某榜第一」就去改团队的 skill 配置,是把排名当成了本地证据;反过来,只跑私有 eval 又会陷入「自己出题自己判卷」的盲区。选型看公开榜,上线看私有 eval——两条腿缺一条都站不稳。

怎么落地(四条,按顺序做)

  1. 先挑一条最常出错的活,不要一上来建十个 eval。优先选「改一次要返工两次」的任务,比如跨文件改接口签名、按团队规范写 changelog。
  2. 判据写成可执行的检查。能从产物验证的(编译过没过、测试红不红、字段在不在)优先;只能靠人读的,写清「出现即失败」的具体特征。
  3. 跑两次再改。先跑基线两次看波动区间——如果同一个 eval 两次结果都不同,说明判据写松了,别急着拿它当门禁。
  4. 改完必须重跑同一套。这就是回归测试的全部意义;不重跑等于没建。

五条边界,官方这版没交代

未交代项影响怎么办
没有内置基准题库你得自己出题,冷启动成本在你这侧从 git 历史里捞真实任务当种子
未提 CI 集成目前是「人点一下跑一次」,不是 PR 门禁当成本地开发环节的检查,别当合并闸门
未提跨模型对比能力想比「换模型后是否更强」这套不够用那类问题仍走公开榜 + 自建脚本
未给判定一致性的度量判据由人写,可能自己就不稳定见上「跑两次」那步
未说明评测数据的落盘与出网涉及代码与提示词外流的合规判断按 Vally 与该插件的隐私条款逐条核

相关阅读

来源

本卡片由 AI 之家 编辑部根据公开资料整理,非厂商付费内容;能力边界以 GitHub 官方公告为准,欢迎在 反馈邮箱 反馈更新。

常见问题

Copilot Evals 和跑 SWE-bench 这类公开基准有什么区别?

方向相反。公开基准是「用同一套题给所有模型排名」,Copilot Evals 是「用你自己的题给自己的配置做回归」——题目来自你项目的真实任务,判据是你自己写的「好结果长什么样」,目的不是比较谁更强,而是你改了 skill、agent 或 MCP 之后,行为有没有退化。

eval 跑在云端还是本地?

本地。官方写明 Copilot Evals 以 Vally 作为评测引擎,而 Vally 被定义为「可扩展的本地评测工具(extensible local eval tool)」,安装方式是 VS Code 扩展、Copilot CLI 插件、Copilot app 的 Customize 里的 marketplace 插件——都是客户端侧组件。评测数据是否出本机,官方公告未逐条说明,需按该工具的隐私条款核对。

会自动跑吗?

不会。官方明确「每次运行前都需要你批准(You approve each run before it starts)」。这条对成本与安全都重要:eval 会真实调用模型与工具,跑一次就是一次真实消耗。

哪些套餐能用?

公测覆盖 Copilot Individual、Copilot Business 与 Copilot Enterprise 三档计划。VS Code 走 Marketplace 的扩展,Copilot CLI 走插件安装,Copilot app 则是在 Customize 里添加 github/evals marketplace 后安装。

相关对比

Claude Code vs Codex CLI:终端 AI Agent 双雄对比

Claude Code vs Codex CLI 2026 选型对比:Anthropic 与 OpenAI 两大官方终端 Agent 的模型、长任务、MCP 生态、Windows 支持、订阅打包价格和国内可用性全方位对比,帮你判断该用哪个终端 AI Agent,以及能不能两个一起用。

GitHub Copilot vs CodeBuddy:国内团队怎么选?2026 对比

GitHub Copilot 与腾讯 CodeBuddy 2026 选型对比:一个胜在生态覆盖与编辑器支持最广,一个胜在中文语境与国内直连。从产品形态、上手成本、长任务、价格与国内可用性 6 个维度给出明确取舍建议。

Codex CLI vs Crush:OpenAI 官方 vs 多模型 TUI(2026 实测选型)

Codex CLI vs Crush 怎么选:OpenAI 官方终端 Agent(GPT-5.6 + Windows 原生沙箱),对上开源 TUI(多模型切换 + LSP)。按模型、平台、价格、国内可用性对比。

Codex CLI vs Gemini CLI:两家大厂终端 Agent 怎么选?(2026 选型)

OpenAI Codex CLI 与 Google Gemini CLI 的正面比较:一句话结论 + 决策树 + 价格 + 国内可用性。已有 ChatGPT 账号选 Codex,想零成本起步选 Gemini CLI。

GitHub Copilot vs Cody:日常补全还是大型代码库理解?2026 对比

GitHub Copilot 与 Sourcegraph Cody 2026 选型对比:Copilot 胜在补全覆盖与生态最广,Cody 胜在大型代码库的代码搜索与跨仓库上下文检索。从产品形态、上手成本、长任务、价格与国内可用性给出明确取舍。

Cursor vs GitHub Copilot:AI IDE 还是插件?2026 对比

Cursor vs GitHub Copilot 2026 选型对比:AI 原生 IDE vs IDE 插件,从 Composer vs Agent Mode、Tab 补全、多模型、AI Credits 计费、企业版和适合人群判断,帮开发者选对。Cursor 是 VS Code fork 重写交互层,Copilot 是 VS Code 插件继承原生体验。两家都已切 usage 制。

相关评测