世界动作模型(World Action Model)
世界动作模型(WAM)先预测「下一步画面长什么样」,再从预测里反推机器人该怎么动。它和 VLA 的分野在于视频预测始终是训练目标,动作是叠加上去的——Runway Praxis-1 与 FLUX 3 Action 都属于这一路。
发布 2026-11-16更新 2026-11-16核实 2026-11-16一句话定义
世界动作模型(World Action Model,WAM)是一类机器人策略模型:它先在隐空间里预测「下一步画面会变成什么样」,再从这段预测的特征里反推出机器人该执行的动作。
它和常见的 VLA(Vision-Language-Action)模型的区别不在输入——两者都吃「相机画面 + 指令 + 机器人当前姿态」——而在中间那一步:
| 维度 | VLA | WAM |
|---|---|---|
| 训练目标 | 画面 + 指令 → 动作 | 画面 + 指令 → 下一段画面 + 动作 |
| 学到的东西 | 输入到动作的映射 | 世界如何演化,以及动作如何导致这种演化 |
| 预训练来源 | 通常是图文对 + 机器人数据 | 通用视频(人拍的日常画面也能用) |
| 换本体的成本 | 往往要重训 | 换一层薄的输入/输出投影即可 |
| 典型代表 | 多数厂商闭环机器人模型 | Runway Praxis-1、FLUX 3 Action |
一句话:VLA 学「看到这个该怎么做」,WAM 学「这么做之后世界会变成什么样」,然后反推该怎么做。
为什么是视频,而不是更多真机数据
机器人领域的死结一直是数据:真机采集慢、贵,而且每换一种机械臂就基本要重采一遍。WAM 的赌注是——通用视频里已经包含了足够的物理常识。
这套逻辑成立的前提是三个「够用」:
- 视频够多。 人类日常拍摄的画面远超任何机器人数据集,覆盖的物体、场景、光照、材质都更广。
- 可迁移。 「杯子会被手握住」「抽屉拉开后里面是空的」这类规律与具体机械臂无关,学一次可以多处用。
- 可对齐。 用一层薄的投影把任意机器人的姿态与动作映射到共享格式,骨干就不必为每个本体重训。
Runway 在 Praxis-1 的技术报告里把这条讲得很直:他们认为最可扩展的数据源不是遥操作、也不是第一视角录像,而是人们本来就在拍的普通视频。
一个具体结构长什么样
以 2026-11 开权的 Runway Praxis-1 为例,拆开是四件:
| 部件 | 规模 / 做法 | 作用 |
|---|---|---|
| 视频骨干 | 26.9B 总参 / 约 2.8B 激活;20 个 FFN 层里 17 个是 MoE(128 路由专家选 8 + 1 共享);跑在冻结 Wan2.2 VAE 的隐空间 | 预测下一段画面 |
| 文本编码 | 冻结的 Qwen3.5-2B | 把指令变成条件 |
| 动作专家 | 16 层、宽 1024、约 314M;每层交替「跨注意力读骨干 / 自注意力」;读骨干 8 个编码块 | 从预测的画面特征里反推动作 |
| 本体投影 | 每个机器人一套薄输入/输出投影 | 一个模型控多种机械臂 |
输出被切成固定块:24 行动作、15 Hz、合计 1.6 秒。机器人执行完这一块,回传新画面,再调一次。
这里有一个必须理解的工程改造:视频基础模型本来能「看到未来」(训练时整段视频随便看),但机器人看不到。所以中训阶段把注意力改成 chunk-causal——按 1.6 秒为块,每块只能看之前的块。训练时前序块用真实视频(teacher forcing),才能一次并行训四块。
另一处取舍值得记:他们把动作 token 塞进骨干的版本(mixture-of-transformers)也试了,离线指标只差 +0.01 cm 但更贵,于是保留独立动作专家。这类「试了但没采用」的细节,比最终分数更能说明工程真实成本。
评价 WAM 要看的四个数
榜单排名是最容易被误读的一项。按可靠性从高到低:
- 同条件真机成功率。 最好的一档:同一批任务、同样的尝试次数、同样的微调数据量。Praxis-1 在 Franka 上是 10 项任务 × 10 次 = 88/100,对照的 FLUX 3 Action 是 80/100——这种对比才可读。
- 跨本体迁移率 + 用了多少数据。 「换一台没见过的机器人,微调 95 小时后能到 80%」这类表述,必须带上数据量才有意义。
- 仿真榜单。 RoboLab-120 这类分数(Praxis-1 46.2%)只能做横向粗糙参考:它常由厂商自己跑,无第三方复核,且总榜里混着不同架构的模型。
- 「省了多少机器人数据」。 这是最关键也最缺的一项——目前几乎没有团队给出「有视频预训练 vs 无视频预训练」的对照组。这个数是开放的,不是已知的。
配套要问的三个问题:数据是自采还是公开集?评测是自家环境还是标准环境?微调预算是多少?——这三个不交代,任何分数都无法复现。
五条边界
- 它不是规划器。 现有 WAM 普遍拆不动长任务,官方文档常直接写「长流程需要人把步骤说清楚」。它替代的是「手怎么动」,不是「先做哪一步」。
- 它对模糊指令不稳。 「把桌子收拾一下」这类指令目前是弱项,指令越具体越可靠。
- 相似物体是已知坑。 外形接近的物体容易被混淆,这在分拣类任务里是硬伤,通常要靠视觉侧补一道判别。
- 硬件门槛不低。 标准权重通常要 80GB 级显卡;量化版能进消费卡,但峰值显存往往未实测。
- 「开权重」和「能落地」是两件事。 开源给的是配方与底子,真要上产线还要采数据、搭规划层、做安全兜底。
现状与判断
2026 年下半年这条路线明显加速:Runway 把 27B 视频模型转成 WAM 并开源,FLUX 3 Action 走同一思路,厂商侧的 Gemini Robotics 则保持闭环不开放权重。两种路线的分歧不在技术,而在「卖能力」还是「卖底子」。
一个更长期的推论:如果视频骨干真的能一路转成控制,那么视频生成模型的竞争会变成机器人竞争的预赛。已经攒了视频模型资产的团队,多了一条不必重训骨干就能进入具身智能的路径。
要泼的冷水是:视频预训练到底省了多少真机数据,至今没有公开的对照实验。这个空白一天不填,WAM 就仍然是一个「看起来更优雅」的路线,而不是被证明更便宜的路线。
相关阅读
- 一手案例:Runway Praxis-1 开权重
- 相邻概念:具身智能 · 原生多模态 · Agent 沙箱 · 每任务成本
- 模型:Gemini Robotics · Gemini Omni 1.2 Flash
来源
- { title: "Runway 技术报告:Praxis-1: From Video Pretraining to Robot Control(实取:骨干 26.9B/2.8B 激活与 MoE 配置、动作专家 314M/16 层、chunk-causal 改造、四阶段训练、24 行 15Hz 输出、RoboLab-120 与真机数字)", url: "https://runway.com/research/praxis-1-video-pretraining-to-robot-control" }
- { title: "runwayml/praxis-1-oss 仓库 README(实取:Apache 2.0、四类检查点、80GB CUDA GPU 与 Python 3.12 要求)", url: "https://github.com/runwayml/praxis-1-oss" }
- { title: "The Decoder:Runway's open-source Praxis-1 turns video AI into a robot controller(2026-11-14;FLUX 3 Action 42.9%、RT-1 对照 52.4% vs 80%、DROID 277 小时、官方自陈短板)", url: "https://the-decoder.com/runways-open-source-praxis-1-turns-video-ai-into-a-robot-controller/" }
常见问题
WAM 和 VLA 到底差在哪?
差在训练目标。VLA(视觉-语言-动作)直接把「看到的画面 + 指令」映射成动作;WAM 中间多一步——先把下一步画面预测出来,再从预测出的画面特征里反推动作。前者学的是映射,后者学的是世界怎么变,然后借用这个理解去动。
为什么非要用视频预训练?
因为真机数据太贵。视频里有大量「物体怎么被抓起、手怎么移动、任务做到一半是什么样」的常识,这些不依赖特定机械臂。用通用视频先学物理直觉,再用少量真机数据对齐具体本体,是目前最省数据的一条路。
看榜单排名就能判断谁强吗?
不能。RoboLab 这类仿真榜单通常由厂商自己跑,没有第三方复核;而且「世界动作模型」是榜单里的一个子分类,总榜里还混着不同架构的模型。真正要对比,至少要看同一批真机任务、同样的尝试次数。
这类模型现在能上产线吗?
还不能。已知短板是混淆外形相近的物体、对模糊指令处理差、长任务需要人把步骤拆开,而且标准版本要 80GB 显存的 GPU。它现在的正确定位是「动作执行层」,上面还需要一个会拆任务的规划层。
相关工具
AutoGLM vs Manus:国产通用 Agent 怎么选
AutoGLM vs Manus 2026 选型对比:智谱开源 GUI Agent 与蝴蝶效应通用 Research Agent 的定位、Agent 能力、中文可用性、私有部署、价格和适合人群全方位对比。一个操作手机浏览器界面、一个云端产出深度报告,帮你判断该用哪个国产 Agent,以及能不能两个都用。
Devin vs Manus:AI Agent 怎么选?2026 对比
Devin vs Manus 2026 选型对比:Cognition 出品的自主 AI 软件工程师 vs Butterfly Effect 的通用 AI Agent。从定位、核心能力、自主程度、价格、国内可用性和适用场景 6 个维度帮你选对 AI Agent。
Dify vs Manus:Agent 平台 vs 通用 Agent 怎么选?2026 对比
Dify vs Manus 2026 选型对比:开源 LLMOps Agent 平台 vs Butterfly Effect 通用 AI Agent。从定位、核心能力、可定制性、开源、价格和适用场景 6 个维度帮你选对 Agent 工具。
Genspark vs Manus:通用 AI Agent 怎么选?2026 对比
Genspark vs Manus 2026 选型对比:Palo Alto 出品的多 Agent 全栈 Super Agent vs Butterfly Effect 的通用 Deep Research Agent。从定位、核心能力、模型支持、价格、国内可用性、适用场景 6 个维度帮你选对通用 AI Agent。
Hermes Agent vs Manus:开源自进化 Agent 对决通用 Agent 天花板,2026 怎么选?
Hermes Agent vs Manus 怎么选:Nous Research 开源自进化 Agent(自托管 + 长期记忆),对上 Butterfly Effect 通用 Agent(多 sub-agent 并行 + 小时级长任务)。
Ollama vs LM Studio:本地跑大模型,命令行派 vs 图形派(2026 选型)
Ollama 和 LM Studio 都能在本机跑开源大模型。一句话结论 + 决策树 + 成本对比:要命令行、要被其他工具调用选 Ollama,要图形界面、要可视化调参选 LM Studio。