私有评测集(Private Eval)
私有评测集是企业或团队自建的、只对自己任务负责的 AI 行为测试集合:题目取自真实工作流,判据自己写,目的是防退化而不是做排名。它与公开基准互补——选型看榜,上线看私有 eval;2026 年 11 月 GitHub 把 Copilot Evals 推进公测,正是把这套做法产品化。
发布 2026-11-18更新 2026-11-18核实 2026-11-18什么是私有评测集
私有评测集(private eval)指团队自建、只对自己的任务负责的一组可重复测试。它有三个特征,缺一条就不算:
- 题目来自自己的真实工作流,不是公开数据集;
- 判据自己写——「好结果长什么样」由业务方与工程方共同定义;
- 目的是防退化,即在换了模型、改了提示词、动了 skill / agent / 工具之后,确认关心的行为没有变差。
它与「跑一次榜单看排名」是两种不同的测量行为:前者比的是同一配置的时间纵向,后者比的是不同配置的横向。
为什么公开基准替代不了它
| 差异点 | 公开基准 | 私有评测集 |
|---|---|---|
| 题目来源 | 公开数据集 | 你的生产任务 |
| 是否会被针对性优化 | 会(进训练语料、被打榜刷分) | 不会 |
| 判据 | 数据集自带标准答案 | 你的验收条件 |
| 结论范围 | 「这个模型平均更强」 | 「这次改动没让我们的活变差」 |
| 失败时的可行动性 | 弱(不知道哪条业务受影响) | 强(直接对应到具体任务) |
这里有两个常被忽略的机制:
- 基准污染。公开题一旦进入训练语料,分数就不再代表泛化能力。所以榜单分数上涨不等于你的活变好——这也是站内 奖励攻击 讨论的核心问题在评测侧的投影。
- 分布错位。公开基准偏爱「有明确答案的难题」,而企业日常的大头是「有明确流程的琐事」。你的活 80% 是改配置、写迁移、对齐字段,榜单几乎不测这些。
AI 之家 观点:正确的关系是「选型看公开榜,上线看私有 eval」。拿榜单决定用哪个模型,拿私有 eval 决定这版能不能发;把两者混用,等于既选错模型又守不住质量。
一个私有 eval 的最小结构
四件套,缺一件就会退化成「随手试两个」。
| 要素 | 要写清什么 | 常见错误 |
|---|---|---|
| 任务 | 真实输入 + 真实起点状态(仓库快照、数据集、工单原文) | 用玩具题;或题目依赖会变的外部环境 |
| 判据 | 可机械验证的验收条件,逐条可判真假 | 「回答质量好」这类无法判真假的描述 |
| 过程 | 允许/禁止的路径(可读哪些目录、可否联网、可否写库) | 只看结果,把「碰巧对」当成「稳定对」 |
| 统计 | 跑几次、通过率、方差,以及失败样本留档 | 只跑一次就下结论;失败样本不留,无法复盘 |
第三项(过程)在 Agent 场景里比在纯文本场景里重要得多:一个 agent 用 rm -rf 之后再生成正确文件,也算通过——这类"结果对、路径灾难"的样本必须能被判失败。
三条主流做法
| 做法 | 怎么建 | 适合 | 代价 |
|---|---|---|---|
| 黄金集(golden set) | 人工挑 10–30 条高价值任务,连同期望结果一起固化 | 冷启动、新团队 | 需要人写判据,且容易偏向「出题人熟悉的活」 |
| 生产回放(trace replay) | 从真实会话 / 工单 / PR 里采样,用同一输入重跑 | 已有线上流量的团队 | 涉及数据脱敏与留存合规 |
| 对抗样本(adversarial) | 针对已知失败模式造题:超长上下文、缺失文件、冲突指令、注入内容 | 加固阶段 | 需要先有失败案例库,否则造不出真问题 |
成熟团队通常三样都有一点:黄金集守主干、回放贴近现实、对抗样本防回归。
五个误区
- 把 eval 当 KPI。一旦通过率成为考核指标,题目会被「优化」而不是被「通过」——这和模型刷榜是同一个机制。
- 判据写成主观描述。「专业、清晰、有洞察」这类判据无法判真假,最后只能靠人凭感觉打分,稳定性归零。
- 只测成功路径。真实工作里 60% 的时间在处理异常(文件缺了、接口变了、权限不够),eval 里却没有一条异常题。
- 题量堆到几百条却没人看。没人读失败样本的 eval 等于没有 eval;宁可 15 条每条都复盘。
- 不随产品演进退役旧题。所有模型都满分的题没有区分度,只增加运行成本与维护负担。
工程上怎么落地(可直接照做)
- 建目录:
evals/<case-id>/下放task.md(任务与起点)、rubric.md(判据)、expected/(可选,期望产物)。 - 写运行器:一个脚本、固定入口,输出结构化结果(case_id、通过与否、耗时、token、失败原因),落成 JSON。
- 先跑基线两遍:确认波动区间;波动过大先修判据,不加题。
- 接入改动的唯一入口:改 prompt / skill / agent 定义 / 工具之后必须重跑,结果与上一次 diff。
- 按季度抽检:退役无区分度的题、补新增高频任务。
2026 年 11 月 GitHub 把 Copilot Evals 推进公测,基本就是把这套流程产品化:用 /eval 或自然语言建 eval、跑前人工批准、跑完能看逐条检查与改动前后对比,底层引擎是本地评测工具 Vally。对不想自建流水线的团队,这是目前最省事的一条路径。
与相关概念的区别
| 概念 | 与私有评测集的关系 |
|---|---|
| Agent 验证 | 验证解决「结果对不对」,私有评测集是它规模化、可重复的那部分 |
| Agent Harness | harness 是被测对象,私有评测集是量它的尺 |
| 每任务成本 | 私有评测集必须同时记录成本,否则「更强但贵 10 倍」的改动会被误判为进步 |
| SWE-bench / Terminal-Bench | 公开基准,用于选型与对外沟通,不用于你的发布门禁 |
| 奖励攻击 | 判据一旦成为优化目标就会被钻空子,私有评测同样适用 |
常见误区
- 以为私有 eval 只能靠平台提供。它本质是一组任务 + 判据 + 一个跑批脚本,几十行代码即可起步。
- 以为通过率 100% 就是好事。全员满分通常意味着题目太简单或判据太松。
- 以为一次建完可以永久用。任务分布会漂移,判据会腐烂,季度抽检是必需品不是加分项。
相关阅读
- 事件:Copilot Evals 公测 · OpenAI 嵌入式评估 · Anthropic 独立评估方
- 概念:Agent 验证 · Agent Harness · 奖励攻击 · 每任务成本 · SWE-bench · Terminal-Bench
- 工具:GitHub Copilot · Codex CLI · Claude Code
来源
- GitHub Copilot Evals is now in public preview(GitHub Changelog,2026-11-17,实取)
- Our first phase of embedded assessments(OpenAI,2026-11-16,实取)
本卡片由 AI 之家 编辑部根据公开资料整理,非厂商付费内容;方法论为通用工程实践总结,具体工具行为以各厂商官方文档为准,欢迎在 反馈邮箱 反馈更新。
常见问题
私有评测集和公开基准(SWE-bench、Terminal-Bench)是替代关系吗?
不是,方向相反。公开基准用同一套题给所有模型排名,回答「谁更强」;私有评测集用你的题检验你的配置,回答「我改完这版之后有没有变差」。公开榜的题会进模型训练语料、会被针对性优化(见奖励攻击),而你的私有题不会——这是它唯一不可替代的价值。
要多少题才够用?
没有普适数字,但有一个可操作的判据:先跑两遍同一套题,看结果是否一致。如果两次通过率就差 20 个百分点,说明判据写得太松或题目本身有歧义,此时加题量没用,得先改判据。等波动收敛到你能接受的区间,再谈题量。工程上常见的起点是 10–30 条高价值任务,而不是一次性铺 500 条。
能不能让模型自己判对错(LLM-as-judge)?
能,但要分层。能从产物客观验证的(编译过不过、测试红不红、JSON 字段齐不齐、文件是否存在)优先走确定性判据;只有主观质量这类没法确定性判的,才交给模型评审,并且要用不同家族的模型交叉评审、固定提示词与评分细则。本站已在 Agent 验证里写过「让 AI 审 AI」的误报代价,同一个问题在私有评测里会放大。
私有评测集会过时吗?
会,而且是必然的。任务分布随产品演进而变,两年前的「典型任务」今天可能已不是主要工作量。建议按季度抽检:删掉已不发生的任务、补上新增的高频任务、把「所有模型都 100% 通过」的题降权或退役——全员满分的题没有区分度,只剩下维护成本。
相关工具
Aider vs Claude Code:终端 AI 编程双雄怎么选
Aider vs Claude Code 2026 选型对比:开源 BYOK 多模型 vs Anthropic 订阅长任务 Agent,从编程能力、多模型支持、价格、Git 集成、国内可用性和适合人群判断,帮你选对终端 AI 编程工具。
Claude Code vs Cline:CLI AI Agent 怎么选?2026 对比
Claude Code vs Cline 2026 选型对比:Anthropic 官方闭源 CLI Agent vs Apache-2.0 开源 VS Code 插件。从模型绑定、工作流、MCP 支持、价格、隐私和适合人群 6 个维度帮你选对 CLI AI 编程工具。
Claude Code vs Codex CLI:终端 AI Agent 双雄对比
Claude Code vs Codex CLI 2026 选型对比:Anthropic 与 OpenAI 两大官方终端 Agent 的模型、长任务、MCP 生态、Windows 支持、订阅打包价格和国内可用性全方位对比,帮你判断该用哪个终端 AI Agent,以及能不能两个一起用。
Claude Code vs Crush:Anthropic 官方 vs 多模型 TUI(2026 实测选型)
Claude Code vs Crush 怎么选:Anthropic 官方 CLI(长任务最稳),对上 Charmbracelet 开源 TUI(多模型切换 + LSP)。按模型、长任务、价格对比。
Cursor vs Claude Code:什么时候用哪个?(2026 实测选型)
Cursor 和 Claude Code 到底怎么选?一句话结论 + 决策树 + 价格实测 + 国内可用性对比。GUI 派选 Cursor,终端长任务派选 Claude Code,最优解其实是共存。
Devin vs Claude Code:AI 编程 Agent 怎么选?异步自主 vs 终端同步对比
Devin vs Claude Code 2026 选型对比:Cognition 异步自主 Cloud Agent vs Anthropic 终端同步 CLI Agent,从形态、工作模式、长任务能力、并发、价格、中文支持和适合人群 8 个维度判断,帮你选对 AI 编程 Agent。