跳到主内容

Runway Praxis-1 开权重:拿视频模型当机器人大脑,RoboLab-120 登顶

Runway 把 27B 视频模型改成机器人策略 Praxis-1,Apache 2.0 开权重与源码。RoboLab-120 成功率 46.2% 居世界动作模型首位,真机 Franka 十倍任务 88/100。

2026-11-16 · Runway 技术报告(实取,2026-11-11) / runwayml/praxis-1-oss 仓库 README(实取) / The Decoder

发布 2026-11-16核实 2026-11-16

要点

  • 2026-11-11,Runway 发布技术报告《Praxis-1: From Video Pretraining to Robot Control》;11-14 起以 Apache 2.0 放出权重与推理源码(runwayml/praxis-1-oss,Hugging Face 集合 runwayml/praxis-1)。
  • 做法是把自家 27B 参数视频基础模型改造成「世界动作模型」:每次调用同时预测下一段视频与下一段动作,机器人执行动作块后回传新画面。
  • 结构上分三件:视频骨干(26.9B 总参 / 约 2.8B 激活,128 个路由专家选 8)、动作专家(16 层、314M 参数,从骨干 8 个编码块跨层读取)、每机器人一层薄投影(输入输出各一套,骨干与专家共享)。
  • 动作输出固定为 24 行、15 Hz、合计 1.6 秒一块。文本编码器用冻结的 Qwen3.5-2B,视觉走冻结的 Wan2.2 VAE。
  • RoboLab-120 仿真榜上成功率 46.2%,是世界动作模型分类第一(FLUX 3 Action 42.9%),总榜第五;真机 Franka 微调后 10 项任务 ×10 次 = 88/100。
  • 官方自陈短板:容易混淆外形相近的物体、对模糊指令处理差、长任务需要人把步骤拆开。

它绕开的是「机器人数据不够」这道墙

机器人模型的死结一直是数据:真机数据贵、慢、且每换一种机械臂就要重采一遍。Runway 的赌注是通用视频里已经包含物理常识——物体怎么被抓起、手怎么移动、一个任务做到一半长什么样。

具体工程上做了四件事:

层做法为什么这么干
骨干27B 视频扩散 Transformer(DDT 布局:条件编码器 + 速度解码器),跑在冻结 Wan2.2 VAE 的隐空间借用已学会「世界怎么变」的视频先验,不从零学物理
注意力基础模型能看整段视频,机器人看不到未来 → 中训阶段改成 chunk-causal:按 1.6 秒(6 个隐帧)为块,只看得到之前的块训练时用真实视频做前序块(teacher forcing),一次并行训 4 块;推理时按块顺序推
动作独立 314M 动作专家,16 层、宽度 1024,每层交替「跨注意力读骨干 / 自注意力」他们试过把动作 token 塞进骨干(mixture-of-transformers),离线指标只差 +0.01 cm 但更贵,于是放弃
适配每个机器人一套薄的输入/输出投影,把姿态与动作映射到共享格式一个模型控多种本体,换臂不用换骨干

这套设计的关键取舍是**「骨干不读专家,专家读骨干」**——视频预测始终是训练目标的一部分,动作是叠加进去的,不是替换。官方原话是「先学世界怎么运作,再学怎么动」。这也是它和传统 VLA(视觉-语言-动作)模型的分野:先预测未来画面,再从预测里反推动作。

成绩怎么读

三组数字,可信度不一样:

  • 仿真榜(RoboLab-120):46.2%,世界动作模型第一。但注意它总榜只排第五,前面有两类不同架构的模型;且测试由 Runway 自己跑,无第三方复核。
  • 真机(Franka + DROID 数据微调):用约 277 小时 DROID 公开数据微调,10 个任务各 10 次,成功 88 次;同条件下 FLUX 3 Action 是 80 次。这个对比相对干净,因为任务与次数都写明。
  • 跨本体迁移(最容易夸大的那条):用谷歌 RT-1 那台带夹爪的移动平台数据(约 95 小时,且不在原训练集内)微调后,四类任务的仿真平均成功率 80%,而谷歌原版 RT-1 在同一基准上是 52.4%。这两个数字是不同时期、不同训练预算下的对照,不能读成「Praxis-1 比 RT-1 强 27 个点」——RT-1 是 2022 年的模型。

还有一个官方自己留的悬念:「视频预训练到底省了多少机器人数据」目前是开放问题。报告只说双手机器人用了 1,400–2,600 小时训练素材,没给同架构、无视频预训练的对照组。

工程细节里的坑

  • 硬件门槛是真的。 Python 3.12 + 一张 ≥80GB 的 CUDA GPU + CUDA 13.0 驱动,装 flash-attn-4、causal-conv1d 还要指定 MAX_JOBS 编译。压缩版(NVFP4)能进 32GB 消费卡,但峰值显存官方明说没测。
  • 四个检查点,别拿错。 praxis-1-droid 是单臂(DROID 机位:外置相机 + 腕部相机),praxis-1-yam 是双臂(顶视 + 两腕),另有 SO-100/SO-101 小臂版本,各有 NVFP4 量化版。用错机位配置会直接不收敛。
  • 它不能自己规划长任务。 官方写得很直白:长流程需要人把每步说清楚,模型对「相似物体」和「模糊指令」都不稳。换句话说,它的定位是动作执行层,上面还得搭一个会拆任务的规划层——这正是它自己说的「未来与通用模型协作」。
  • 合作方已在用。 Standard Bots、Noble Machines、Ultra 从 9 月起在人形、工业臂、双臂仓储三种形态上测试——这是它比纯论文强的地方:有真实本体在跑。

对开发者意味着什么

  • 做具身智能的团队:这是目前最完整的开源参照。 不是「又一个开源策略模型」,而是连训练配方(四阶段、chunk-causal 改造、teacher forcing)+ 仿真评测流程一起给了。DROID 那 277 小时是公开数据集,等于给了一条可复现的最小路径。
  • 做视频生成的团队:这是一条新出口。 视频模型的商业化路径此前只有「卖生成」,Praxis-1 说明同一个骨干可以转成控制。对已经攒了视频模型的团队,这是比「再做一个月更炫的 demo」更实的第二条曲线。
  • 别急着替换现成机器人方案。 它要 80GB 卡、要按机位重采数据、要自己搭规划层。真要在产线上用,现成的闭源方案今年仍然更省事。
  • 关注后续的 NVFP4 与 SO-101。 这两个才是「能不能便宜地跑起来」的答案:量化决定推理成本,小臂版本决定教育与创客市场能不能进。

AI 之家 观点

这条的价值不在榜单第一,而在它把「视频模型」和「机器人控制」之间那条路铺开给人看了:冻结的视频 VAE、冻结的文本编码器、改注意力的方式、动作专家挂在哪几层——全是可抄的工程细节,而不是「我们用了世界模型」这种话术。

需要泼的冷水是评测:46.2% 是自己跑的,跨本体那条对比跨越了四年模型代差,省数据这件事官方自己说是开放问题。开权重的好处恰恰在这里——别人能复现,吹过头会被打回来。

还有个更长远的问题:如果视频骨干真的能一路转成控制,那么视频模型的竞争会变成机器人竞争的预赛。Runway 这一步,等于先把自家视频资产的第二用途锁定了。

相关阅读

来源

常见问题

开的是权重还是只有代码?

两者都开。源码在 GitHub runwayml/praxis-1-oss(Apache 2.0),权重在 Hugging Face 的 runwayml/praxis-1 集合,下之前要登录并同意使用条款。仓库同时给了训练与在仿真里评测的说明。

普通显卡能跑吗?

标准版本要求一张 80GB 显存的 CUDA GPU 加 CUDA 13.0 驱动。官方文档提到压缩版本在理论上能塞进 32GB 的 RTX 5090,但同时写明实际峰值显存尚未实测。别把它当成能在家用卡上随便跑的东西。

46.2% 的成功率算好吗?

在 RoboLab-120 这个 120 项仿真任务的榜单上,它是世界动作模型分类里的第一(FLUX 3 Action 42.9%),但总榜第五——前面是两类不同架构的模型。而且这个成绩是 Runway 自己跑的,没有第三方复核。

和 Gemini Robotics 是同一类东西吗?

不完全。Gemini Robotics 是厂商闭环的机器人模型,Praxis-1 是开权重、可自行微调的策略。前者买能力,后者买底子——具体差别见站内世界动作模型条目。

相关对比

AutoGLM vs Manus:国产通用 Agent 怎么选

AutoGLM vs Manus 2026 选型对比:智谱开源 GUI Agent 与蝴蝶效应通用 Research Agent 的定位、Agent 能力、中文可用性、私有部署、价格和适合人群全方位对比。一个操作手机浏览器界面、一个云端产出深度报告,帮你判断该用哪个国产 Agent,以及能不能两个都用。

Devin vs Manus:AI Agent 怎么选?2026 对比

Devin vs Manus 2026 选型对比:Cognition 出品的自主 AI 软件工程师 vs Butterfly Effect 的通用 AI Agent。从定位、核心能力、自主程度、价格、国内可用性和适用场景 6 个维度帮你选对 AI Agent。

Dify vs Manus:Agent 平台 vs 通用 Agent 怎么选?2026 对比

Dify vs Manus 2026 选型对比:开源 LLMOps Agent 平台 vs Butterfly Effect 通用 AI Agent。从定位、核心能力、可定制性、开源、价格和适用场景 6 个维度帮你选对 Agent 工具。

Genspark vs Manus:通用 AI Agent 怎么选?2026 对比

Genspark vs Manus 2026 选型对比:Palo Alto 出品的多 Agent 全栈 Super Agent vs Butterfly Effect 的通用 Deep Research Agent。从定位、核心能力、模型支持、价格、国内可用性、适用场景 6 个维度帮你选对通用 AI Agent。

Hermes Agent vs Manus:开源自进化 Agent 对决通用 Agent 天花板,2026 怎么选?

Hermes Agent vs Manus 怎么选:Nous Research 开源自进化 Agent(自托管 + 长期记忆),对上 Butterfly Effect 通用 Agent(多 sub-agent 并行 + 小时级长任务)。

Ollama vs LM Studio:本地跑大模型,命令行派 vs 图形派(2026 选型)

Ollama 和 LM Studio 都能在本机跑开源大模型。一句话结论 + 决策树 + 成本对比:要命令行、要被其他工具调用选 Ollama,要图形界面、要可视化调参选 LM Studio。

相关评测