跳到主内容
方法论评测回归测试私有评测集Agent 验证质量门禁

私有评测集(Private Eval)

私有评测集是企业或团队自建的、只对自己任务负责的 AI 行为测试集合:题目取自真实工作流,判据自己写,目的是防退化而不是做排名。它与公开基准互补——选型看榜,上线看私有 eval;2026 年 11 月 GitHub 把 Copilot Evals 推进公测,正是把这套做法产品化。

发布 2026-11-18更新 2026-11-18核实 2026-11-18

什么是私有评测集

私有评测集(private eval)指团队自建、只对自己的任务负责的一组可重复测试。它有三个特征,缺一条就不算:

  1. 题目来自自己的真实工作流,不是公开数据集;
  2. 判据自己写——「好结果长什么样」由业务方与工程方共同定义;
  3. 目的是防退化,即在换了模型、改了提示词、动了 skill / agent / 工具之后,确认关心的行为没有变差。

它与「跑一次榜单看排名」是两种不同的测量行为:前者比的是同一配置的时间纵向,后者比的是不同配置的横向。

为什么公开基准替代不了它

差异点公开基准私有评测集
题目来源公开数据集你的生产任务
是否会被针对性优化会(进训练语料、被打榜刷分)不会
判据数据集自带标准答案你的验收条件
结论范围「这个模型平均更强」「这次改动没让我们的活变差」
失败时的可行动性弱(不知道哪条业务受影响)强(直接对应到具体任务)

这里有两个常被忽略的机制:

  • 基准污染。公开题一旦进入训练语料,分数就不再代表泛化能力。所以榜单分数上涨不等于你的活变好——这也是站内 奖励攻击 讨论的核心问题在评测侧的投影。
  • 分布错位。公开基准偏爱「有明确答案的难题」,而企业日常的大头是「有明确流程的琐事」。你的活 80% 是改配置、写迁移、对齐字段,榜单几乎不测这些。

AI 之家 观点:正确的关系是「选型看公开榜,上线看私有 eval」。拿榜单决定用哪个模型,拿私有 eval 决定这版能不能发;把两者混用,等于既选错模型又守不住质量。

一个私有 eval 的最小结构

四件套,缺一件就会退化成「随手试两个」。

要素要写清什么常见错误
任务真实输入 + 真实起点状态(仓库快照、数据集、工单原文)用玩具题;或题目依赖会变的外部环境
判据可机械验证的验收条件,逐条可判真假「回答质量好」这类无法判真假的描述
过程允许/禁止的路径(可读哪些目录、可否联网、可否写库)只看结果,把「碰巧对」当成「稳定对」
统计跑几次、通过率、方差,以及失败样本留档只跑一次就下结论;失败样本不留,无法复盘

第三项(过程)在 Agent 场景里比在纯文本场景里重要得多:一个 agent 用 rm -rf 之后再生成正确文件,也算通过——这类"结果对、路径灾难"的样本必须能被判失败。

三条主流做法

做法怎么建适合代价
黄金集(golden set)人工挑 10–30 条高价值任务,连同期望结果一起固化冷启动、新团队需要人写判据,且容易偏向「出题人熟悉的活」
生产回放(trace replay)从真实会话 / 工单 / PR 里采样,用同一输入重跑已有线上流量的团队涉及数据脱敏与留存合规
对抗样本(adversarial)针对已知失败模式造题:超长上下文、缺失文件、冲突指令、注入内容加固阶段需要先有失败案例库,否则造不出真问题

成熟团队通常三样都有一点:黄金集守主干、回放贴近现实、对抗样本防回归。

五个误区

  1. 把 eval 当 KPI。一旦通过率成为考核指标,题目会被「优化」而不是被「通过」——这和模型刷榜是同一个机制。
  2. 判据写成主观描述。「专业、清晰、有洞察」这类判据无法判真假,最后只能靠人凭感觉打分,稳定性归零。
  3. 只测成功路径。真实工作里 60% 的时间在处理异常(文件缺了、接口变了、权限不够),eval 里却没有一条异常题。
  4. 题量堆到几百条却没人看。没人读失败样本的 eval 等于没有 eval;宁可 15 条每条都复盘。
  5. 不随产品演进退役旧题。所有模型都满分的题没有区分度,只增加运行成本与维护负担。

工程上怎么落地(可直接照做)

  1. 建目录:evals/<case-id>/ 下放 task.md(任务与起点)、rubric.md(判据)、expected/(可选,期望产物)。
  2. 写运行器:一个脚本、固定入口,输出结构化结果(case_id、通过与否、耗时、token、失败原因),落成 JSON。
  3. 先跑基线两遍:确认波动区间;波动过大先修判据,不加题。
  4. 接入改动的唯一入口:改 prompt / skill / agent 定义 / 工具之后必须重跑,结果与上一次 diff。
  5. 按季度抽检:退役无区分度的题、补新增高频任务。

2026 年 11 月 GitHub 把 Copilot Evals 推进公测,基本就是把这套流程产品化:用 /eval 或自然语言建 eval、跑前人工批准、跑完能看逐条检查与改动前后对比,底层引擎是本地评测工具 Vally。对不想自建流水线的团队,这是目前最省事的一条路径。

与相关概念的区别

概念与私有评测集的关系
Agent 验证验证解决「结果对不对」,私有评测集是它规模化、可重复的那部分
Agent Harnessharness 是被测对象,私有评测集是量它的尺
每任务成本私有评测集必须同时记录成本,否则「更强但贵 10 倍」的改动会被误判为进步
SWE-bench / Terminal-Bench公开基准,用于选型与对外沟通,不用于你的发布门禁
奖励攻击判据一旦成为优化目标就会被钻空子,私有评测同样适用

常见误区

  • 以为私有 eval 只能靠平台提供。它本质是一组任务 + 判据 + 一个跑批脚本,几十行代码即可起步。
  • 以为通过率 100% 就是好事。全员满分通常意味着题目太简单或判据太松。
  • 以为一次建完可以永久用。任务分布会漂移,判据会腐烂,季度抽检是必需品不是加分项。

相关阅读

来源

本卡片由 AI 之家 编辑部根据公开资料整理,非厂商付费内容;方法论为通用工程实践总结,具体工具行为以各厂商官方文档为准,欢迎在 反馈邮箱 反馈更新。

常见问题

私有评测集和公开基准(SWE-bench、Terminal-Bench)是替代关系吗?

不是,方向相反。公开基准用同一套题给所有模型排名,回答「谁更强」;私有评测集用你的题检验你的配置,回答「我改完这版之后有没有变差」。公开榜的题会进模型训练语料、会被针对性优化(见奖励攻击),而你的私有题不会——这是它唯一不可替代的价值。

要多少题才够用?

没有普适数字,但有一个可操作的判据:先跑两遍同一套题,看结果是否一致。如果两次通过率就差 20 个百分点,说明判据写得太松或题目本身有歧义,此时加题量没用,得先改判据。等波动收敛到你能接受的区间,再谈题量。工程上常见的起点是 10–30 条高价值任务,而不是一次性铺 500 条。

能不能让模型自己判对错(LLM-as-judge)?

能,但要分层。能从产物客观验证的(编译过不过、测试红不红、JSON 字段齐不齐、文件是否存在)优先走确定性判据;只有主观质量这类没法确定性判的,才交给模型评审,并且要用不同家族的模型交叉评审、固定提示词与评分细则。本站已在 Agent 验证里写过「让 AI 审 AI」的误报代价,同一个问题在私有评测里会放大。

私有评测集会过时吗?

会,而且是必然的。任务分布随产品演进而变,两年前的「典型任务」今天可能已不是主要工作量。建议按季度抽检:删掉已不发生的任务、补上新增的高频任务、把「所有模型都 100% 通过」的题降权或退役——全员满分的题没有区分度,只剩下维护成本。

相关对比

Aider vs Claude Code:终端 AI 编程双雄怎么选

Aider vs Claude Code 2026 选型对比:开源 BYOK 多模型 vs Anthropic 订阅长任务 Agent,从编程能力、多模型支持、价格、Git 集成、国内可用性和适合人群判断,帮你选对终端 AI 编程工具。

Claude Code vs Cline:CLI AI Agent 怎么选?2026 对比

Claude Code vs Cline 2026 选型对比:Anthropic 官方闭源 CLI Agent vs Apache-2.0 开源 VS Code 插件。从模型绑定、工作流、MCP 支持、价格、隐私和适合人群 6 个维度帮你选对 CLI AI 编程工具。

Claude Code vs Codex CLI:终端 AI Agent 双雄对比

Claude Code vs Codex CLI 2026 选型对比:Anthropic 与 OpenAI 两大官方终端 Agent 的模型、长任务、MCP 生态、Windows 支持、订阅打包价格和国内可用性全方位对比,帮你判断该用哪个终端 AI Agent,以及能不能两个一起用。

Claude Code vs Crush:Anthropic 官方 vs 多模型 TUI(2026 实测选型)

Claude Code vs Crush 怎么选:Anthropic 官方 CLI(长任务最稳),对上 Charmbracelet 开源 TUI(多模型切换 + LSP)。按模型、长任务、价格对比。

Cursor vs Claude Code:什么时候用哪个?(2026 实测选型)

Cursor 和 Claude Code 到底怎么选?一句话结论 + 决策树 + 价格实测 + 国内可用性对比。GUI 派选 Cursor,终端长任务派选 Claude Code,最优解其实是共存。

Devin vs Claude Code:AI 编程 Agent 怎么选?异步自主 vs 终端同步对比

Devin vs Claude Code 2026 选型对比:Cognition 异步自主 Cloud Agent vs Anthropic 终端同步 CLI Agent,从形态、工作模式、长任务能力、并发、价格、中文支持和适合人群 8 个维度判断,帮你选对 AI 编程 Agent。