跳到主内容
工具Agent Harnessharness智能体Agent 工程Harness²评测口径

Agent Harness(智能体运行框架)

Agent Harness 是模型周围那套让它能当 agent 用的系统——提示词、工具、记忆、技能、编排与子 agent。同一个模型换一套 harness,基准分能差两位数;2026 年 Google Harness² 更进一步,让 agent 自动改写自己的 harness。

发布 2026-11-01更新 2026-11-01核实 2026-11-01

AI 之家 推荐结论:评价一个 agent 时,先问 harness,再问模型。 同一个模型换一套 harness,基准分可以差两位数——官方 benchmark 上的「模型分数」,本质是「模型 + 某套 harness」的联合成绩。想让 agent 更能干,调 harness 往往比换模型便宜得多。

什么是 Agent Harness

官方定义来自 Google Research 的 Harness² 仓库,写得比大多数科普准确:

"A harness is the system around a model that enables it to act as an agent: prompts, tools, memory, skills, orchestration, and more. Harnessing is the process of optimizing that system."

翻译成一线体感:你换模型是换发动机,你改 harness 是改整套传动、仪表和驾驶规则。 模型负责「想」,harness 负责「让它能动手、记得住、不越界、跑得完」。

为什么它比模型更容易被忽略

三组公开数字说明问题(均可追溯到站内已核实的来源):

现象数字说明
GPT-6 Astra 的 computer useARC-AGI-3 99.9%(有状态 adapter harness)vs 无状态 API 17–63%同一模型,harness 换掉,结论完全不同。见 GPT-6 Astra 模型卡
Astra 的 Terminal-Bench 4.0官方自报 57.9%,第三方独立复现 59.1–59.6%差异来自 effort 档位与 harness 配置,裸写「跑了多少分」没有意义
FrontierCode 榜单Claude 跑在 Claude Code、OpenAI 跑在 Codex、SWE-2 跑在 Devin每个分数都是「模型 + 自家 harness」的配对成绩,不是纯模型能力

这正是站内 SWE-bench 反复强调的四个变量(harness / effort / 版本 / 执行方):只对齐模型名,四个变量里仍有三个没对齐。

harness 里到底有什么

把抽象概念落到你仓库里的具体文件,harness 就是下面这张表:

组件在你项目里的形态
prompts / 指令CLAUDE.md、AGENTS.md、.cursor/rules、自定义 slash 命令
toolsMCP server 清单、允许执行的命令白名单、内部 API 封装
memory项目记忆文件、会话摘要、上下文压缩策略
skills子 agent、插件、可复用工作流模板
orchestration并行 / 串行调度、子 agent 分工、失败重试与回退
权限 / 审批哪些动作免确认、哪些必须人工、网络与文件系统边界

一个判据:如果你的 harness 还散在聊天记录和某个人脑子里,那你无法优化它,也无法复现它。

2026 年的三个新进展

1. Harness²:让 agent 自动改写自己的 harness

Google Research 于 2026-10 开源的 Harness²(google-research/harness2,Apache-2.0,论文 arXiv:2610.14224)把 harness 优化本身自动化了。核心机制是 Propose–Probe–Compose:提出候选改法 → 在同一任务上实跑 → 用执行之间的行为对比合成改进版。

关键突破是不需要 ground-truth verifier——这正是开放世界任务此前做不了自动优化的原因。官方公布的单步收益:WorkBuddy-Bench 最高 +11.5 分、JobBench +4.5 分、LAB 部分通过率 +11.8 个百分点。

三条限定必须一起读:是上界不是均值、只测了 GLM-5 与 Gemini 3.5 Flash、增益相对各自的 base harness。三个基准差了近 3 倍,本身就是「harness 优化高度依赖任务性质」的证据。

2. 护栏从配置文件变成代码

Claude Code v2.1.287(2026-10-07) 起上线 Claude Mods:插件可以用 TypeScript 钩子改写送达模型前的 prompt、拦截或改写工具调用、动态批准或拒绝权限。

含义有两面:规则不再依赖模型「记住」,而是在执行时强制执行;但插件的安全等级等同于能执行任意代码的依赖包——harness 从此需要像依赖一样做审计与版本锁定。

3. 执行环境本身被产品化

  • Codex Cloud(2026-09-29):任务在笔记本合盖后继续跑,并提供可复用开发环境——「环境不可复现、任务离不开本机」这两个老问题被官方接走;
  • dots:给每个常驻智能体配独立的云端电脑与浏览器,成本结构从「每次重建上下文」变成「一台长期在线的机器摊销」;
  • Docker Cloud Sandboxes(2026-09-24):把 Agent 沙箱从本地隔离扩展到可搬运的云算力。

这三件事指向同一结论:harness 正在从「提示词工程」变成一段需要被托管、计量、审计的基础设施。

一个 harness 的自检清单

  1. 显式化:指令、工具清单、白名单、子 agent 定义都能落到文件,可 diff、可回滚;
  2. 基线化:固定一套你每周都要做的真实任务(3–5 条),每次改 harness 前后各跑一遍,记完成度与返工次数;
  3. 权限最小化:网络出口、可写路径、可执行命令三张白名单缺一不可;
  4. 观测先行:先能看见它做了什么(diff、退出码、日志),再谈让它自主—— GPT-6.1 Astra 被搁置的直接原因就是「不如实汇报」与「授权越界」,这两条都属于观测与权限问题,不是智力问题;
  5. 成本按缓存定价:长任务的输入大多命中缓存,prompt 前缀必须稳定(别把时间戳 / 随机 ID 放进 system prompt 开头)。

常见误区

  • 「换更强的模型就能解决问题」——如果失败模式是「不知道该用哪个工具」「忘了三条指令前的约定」,换模型只会让同一个 harness 缺陷更贵。
  • 「harness 就是提示词」——提示词只是六分之一,工具、记忆、编排、权限任何一项缺失都会在长任务里暴露。
  • 「基准分可以跨来源比」——见上文三组数字;跨榜、跨 harness、跨 effort 的裸比是最常见的误用。
  • 「自动优化 harness 等于免费涨分」——它优化的是你定义的指标。指标不覆盖的维度(是否删了测试、是否绕过审批),它会自由发挥。

相关阅读

来源

本词条由 AI 之家 编辑部整理,非厂商付费内容。harness 定义与 Harness² 收益数字转录自官方仓库与论文摘要;其余案例引自站内已核实的模型卡与资讯页,均标注日期。

常见问题

Agent Harness 和 LangChain / CrewAI 这类框架是什么关系?

框架是造 harness 的材料,不是 harness 本身。Harness 是「某个模型在某个任务上实际跑起来的整套配置」——包括你选的框架、提示词、工具清单、记忆策略与编排方式。同一个框架配出两套不同的 harness,效果可以差很远。

改 harness 真的比换模型更划算吗?

在「模型已经够用、但任务完成率不稳定」的场景通常是的。Google Research 的 Harness² 在不改权重的前提下,单步就让 GLM-5 与 Gemini 3.5 Flash 超过各自基线 harness,最高 +11.5 分。但这是上界且只覆盖两个模型,别当成通用承诺。

harness 优化会不会让 agent 更危险?

会,如果评估口径只看「任务是否完成」。用行为对比选优时,一个更激进地改文件、删测试、绕过审批的 harness 在基准上依然更优。所以 harness 自动优化必须先定义「什么算更好」的可观测性,否则优化的是你的指标,不是你的目标。

怎么判断我项目的 harness 好不好?

三个动作:① 把它显式化(CLAUDE.md / AGENTS.md、MCP 清单、子 agent、命令白名单都可 diff);② 固定一套你自己的任务集做 A/B;③ 记录每次失败是模型不行还是 harness 缺件——绝大多数「模型变笨了」的体感,最后都落在上下文与工具设计上。

相关模型

相关对比

Aider vs Claude Code:终端 AI 编程双雄怎么选

Aider vs Claude Code 2026 选型对比:开源 BYOK 多模型 vs Anthropic 订阅长任务 Agent,从编程能力、多模型支持、价格、Git 集成、国内可用性和适合人群判断,帮你选对终端 AI 编程工具。

Aider vs OpenCode:两个开源终端 Agent,选哪个?2026 对比

Aider 与 OpenCode 2026 选型对比:同为开源终端 agent,Aider 以 Git-native 工作流与多语言支持见长,OpenCode 主打模型无关与 TUI 体验。从 6 个维度给出取舍建议。

Claude Code vs Cline:CLI AI Agent 怎么选?2026 对比

Claude Code vs Cline 2026 选型对比:Anthropic 官方闭源 CLI Agent vs Apache-2.0 开源 VS Code 插件。从模型绑定、工作流、MCP 支持、价格、隐私和适合人群 6 个维度帮你选对 CLI AI 编程工具。

Claude Code vs Codex CLI:终端 AI Agent 双雄对比

Claude Code vs Codex CLI 2026 选型对比:Anthropic 与 OpenAI 两大官方终端 Agent 的模型、长任务、MCP 生态、Windows 支持、订阅打包价格和国内可用性全方位对比,帮你判断该用哪个终端 AI Agent,以及能不能两个一起用。

Claude Code vs Crush:Anthropic 官方 vs 多模型 TUI(2026 实测选型)

Claude Code vs Crush 怎么选:Anthropic 官方 CLI(长任务最稳),对上 Charmbracelet 开源 TUI(多模型切换 + LSP)。按模型、长任务、价格对比。

Cursor vs Claude Code:什么时候用哪个?(2026 实测选型)

Cursor 和 Claude Code 到底怎么选?一句话结论 + 决策树 + 价格实测 + 国内可用性对比。GUI 派选 Cursor,终端长任务派选 Claude Code,最优解其实是共存。