Runway Praxis-1 开权重:拿视频模型当机器人大脑,RoboLab-120 登顶
Runway 把 27B 视频模型改成机器人策略 Praxis-1,Apache 2.0 开权重与源码。RoboLab-120 成功率 46.2% 居世界动作模型首位,真机 Franka 十倍任务 88/100。
2026-11-16 · Runway 技术报告(实取,2026-11-11) / runwayml/praxis-1-oss 仓库 README(实取) / The Decoder
发布 2026-11-16核实 2026-11-16要点
- 2026-11-11,Runway 发布技术报告《Praxis-1: From Video Pretraining to Robot Control》;11-14 起以 Apache 2.0 放出权重与推理源码(
runwayml/praxis-1-oss,Hugging Face 集合runwayml/praxis-1)。 - 做法是把自家 27B 参数视频基础模型改造成「世界动作模型」:每次调用同时预测下一段视频与下一段动作,机器人执行动作块后回传新画面。
- 结构上分三件:视频骨干(26.9B 总参 / 约 2.8B 激活,128 个路由专家选 8)、动作专家(16 层、314M 参数,从骨干 8 个编码块跨层读取)、每机器人一层薄投影(输入输出各一套,骨干与专家共享)。
- 动作输出固定为 24 行、15 Hz、合计 1.6 秒一块。文本编码器用冻结的 Qwen3.5-2B,视觉走冻结的 Wan2.2 VAE。
- RoboLab-120 仿真榜上成功率 46.2%,是世界动作模型分类第一(FLUX 3 Action 42.9%),总榜第五;真机 Franka 微调后 10 项任务 ×10 次 = 88/100。
- 官方自陈短板:容易混淆外形相近的物体、对模糊指令处理差、长任务需要人把步骤拆开。
它绕开的是「机器人数据不够」这道墙
机器人模型的死结一直是数据:真机数据贵、慢、且每换一种机械臂就要重采一遍。Runway 的赌注是通用视频里已经包含物理常识——物体怎么被抓起、手怎么移动、一个任务做到一半长什么样。
具体工程上做了四件事:
| 层 | 做法 | 为什么这么干 |
|---|---|---|
| 骨干 | 27B 视频扩散 Transformer(DDT 布局:条件编码器 + 速度解码器),跑在冻结 Wan2.2 VAE 的隐空间 | 借用已学会「世界怎么变」的视频先验,不从零学物理 |
| 注意力 | 基础模型能看整段视频,机器人看不到未来 → 中训阶段改成 chunk-causal:按 1.6 秒(6 个隐帧)为块,只看得到之前的块 | 训练时用真实视频做前序块(teacher forcing),一次并行训 4 块;推理时按块顺序推 |
| 动作 | 独立 314M 动作专家,16 层、宽度 1024,每层交替「跨注意力读骨干 / 自注意力」 | 他们试过把动作 token 塞进骨干(mixture-of-transformers),离线指标只差 +0.01 cm 但更贵,于是放弃 |
| 适配 | 每个机器人一套薄的输入/输出投影,把姿态与动作映射到共享格式 | 一个模型控多种本体,换臂不用换骨干 |
这套设计的关键取舍是**「骨干不读专家,专家读骨干」**——视频预测始终是训练目标的一部分,动作是叠加进去的,不是替换。官方原话是「先学世界怎么运作,再学怎么动」。这也是它和传统 VLA(视觉-语言-动作)模型的分野:先预测未来画面,再从预测里反推动作。
成绩怎么读
三组数字,可信度不一样:
- 仿真榜(RoboLab-120):46.2%,世界动作模型第一。但注意它总榜只排第五,前面有两类不同架构的模型;且测试由 Runway 自己跑,无第三方复核。
- 真机(Franka + DROID 数据微调):用约 277 小时 DROID 公开数据微调,10 个任务各 10 次,成功 88 次;同条件下 FLUX 3 Action 是 80 次。这个对比相对干净,因为任务与次数都写明。
- 跨本体迁移(最容易夸大的那条):用谷歌 RT-1 那台带夹爪的移动平台数据(约 95 小时,且不在原训练集内)微调后,四类任务的仿真平均成功率 80%,而谷歌原版 RT-1 在同一基准上是 52.4%。这两个数字是不同时期、不同训练预算下的对照,不能读成「Praxis-1 比 RT-1 强 27 个点」——RT-1 是 2022 年的模型。
还有一个官方自己留的悬念:「视频预训练到底省了多少机器人数据」目前是开放问题。报告只说双手机器人用了 1,400–2,600 小时训练素材,没给同架构、无视频预训练的对照组。
工程细节里的坑
- 硬件门槛是真的。 Python 3.12 + 一张 ≥80GB 的 CUDA GPU + CUDA 13.0 驱动,装
flash-attn-4、causal-conv1d还要指定MAX_JOBS编译。压缩版(NVFP4)能进 32GB 消费卡,但峰值显存官方明说没测。 - 四个检查点,别拿错。
praxis-1-droid是单臂(DROID 机位:外置相机 + 腕部相机),praxis-1-yam是双臂(顶视 + 两腕),另有 SO-100/SO-101 小臂版本,各有 NVFP4 量化版。用错机位配置会直接不收敛。 - 它不能自己规划长任务。 官方写得很直白:长流程需要人把每步说清楚,模型对「相似物体」和「模糊指令」都不稳。换句话说,它的定位是动作执行层,上面还得搭一个会拆任务的规划层——这正是它自己说的「未来与通用模型协作」。
- 合作方已在用。 Standard Bots、Noble Machines、Ultra 从 9 月起在人形、工业臂、双臂仓储三种形态上测试——这是它比纯论文强的地方:有真实本体在跑。
对开发者意味着什么
- 做具身智能的团队:这是目前最完整的开源参照。 不是「又一个开源策略模型」,而是连训练配方(四阶段、chunk-causal 改造、teacher forcing)+ 仿真评测流程一起给了。DROID 那 277 小时是公开数据集,等于给了一条可复现的最小路径。
- 做视频生成的团队:这是一条新出口。 视频模型的商业化路径此前只有「卖生成」,Praxis-1 说明同一个骨干可以转成控制。对已经攒了视频模型的团队,这是比「再做一个月更炫的 demo」更实的第二条曲线。
- 别急着替换现成机器人方案。 它要 80GB 卡、要按机位重采数据、要自己搭规划层。真要在产线上用,现成的闭源方案今年仍然更省事。
- 关注后续的 NVFP4 与 SO-101。 这两个才是「能不能便宜地跑起来」的答案:量化决定推理成本,小臂版本决定教育与创客市场能不能进。
AI 之家 观点
这条的价值不在榜单第一,而在它把「视频模型」和「机器人控制」之间那条路铺开给人看了:冻结的视频 VAE、冻结的文本编码器、改注意力的方式、动作专家挂在哪几层——全是可抄的工程细节,而不是「我们用了世界模型」这种话术。
需要泼的冷水是评测:46.2% 是自己跑的,跨本体那条对比跨越了四年模型代差,省数据这件事官方自己说是开放问题。开权重的好处恰恰在这里——别人能复现,吹过头会被打回来。
还有个更长远的问题:如果视频骨干真的能一路转成控制,那么视频模型的竞争会变成机器人竞争的预赛。Runway 这一步,等于先把自家视频资产的第二用途锁定了。
相关阅读
- 概念:世界动作模型 · 具身智能 · 每任务成本
- 同期:Mirendil 10 亿美元 A 轮 · n8n Nod 本地个人 Agent
- 模型:Gemini Robotics · Gemini Omni 1.2 Flash
来源
- { title: "Runway 技术报告:Praxis-1: From Video Pretraining to Robot Control(实取,datePublished 2026-11-11;骨干 26.9B/2.8B 激活、动作专家 314M/16 层、24 行 15Hz、chunk-causal、四阶段训练)", url: "https://runway.com/research/praxis-1-video-pretraining-to-robot-control" }
- { title: "runwayml/praxis-1-oss 仓库 README(实取:Apache 2.0、四个检查点与 NVFP4 版本、Python 3.12 + 80GB CUDA GPU + CUDA 13.0 要求)", url: "https://github.com/runwayml/praxis-1-oss" }
- { title: "Hugging Face 模型集合 runwayml/praxis-1(权重下载入口,需登录并同意条款)", url: "https://huggingface.co/collections/runwayml/praxis-1" }
- { title: "The Decoder:Runway's open-source Praxis-1 turns video AI into a robot controller(2026-11-14;RoboLab-120 46.2%、Franka 88 vs 80、RT-1 80% vs 52.4%、DROID 277 小时、合作方)", url: "https://the-decoder.com/runways-open-source-praxis-1-turns-video-ai-into-a-robot-controller/" }
常见问题
开的是权重还是只有代码?
两者都开。源码在 GitHub runwayml/praxis-1-oss(Apache 2.0),权重在 Hugging Face 的 runwayml/praxis-1 集合,下之前要登录并同意使用条款。仓库同时给了训练与在仿真里评测的说明。
普通显卡能跑吗?
标准版本要求一张 80GB 显存的 CUDA GPU 加 CUDA 13.0 驱动。官方文档提到压缩版本在理论上能塞进 32GB 的 RTX 5090,但同时写明实际峰值显存尚未实测。别把它当成能在家用卡上随便跑的东西。
46.2% 的成功率算好吗?
在 RoboLab-120 这个 120 项仿真任务的榜单上,它是世界动作模型分类里的第一(FLUX 3 Action 42.9%),但总榜第五——前面是两类不同架构的模型。而且这个成绩是 Runway 自己跑的,没有第三方复核。
和 Gemini Robotics 是同一类东西吗?
不完全。Gemini Robotics 是厂商闭环的机器人模型,Praxis-1 是开权重、可自行微调的策略。前者买能力,后者买底子——具体差别见站内世界动作模型条目。