用世界模型给VLA当教练，原力灵机发布DW0.5，把RL搬进虚拟世界

衡宇 2026-07-16 10:30:46 来源：量子位

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

代码Agent这两年为何进步飞快，成为AI界的宗门大师兄？

因为这玩意儿自己个儿就超！闭！环！的！

代码Agent可以自动执行、自动验证、自动反馈。写了代码跑一下就知道对不对，奖励信号非常清晰明确。

这给后训练（Post-training）阶段的自反馈闭环提供了完美条件。

同样是AI界大热门，具身智能目前就缺少这种“神助”。

它面对的物理世界比代码Agent面对的世界复杂多了，而且很难得到即刻验证。

它接收的信号不像代码那样有一个编译器就能判定，它们模糊、昂贵，而且每一次真机试错都意味着真金白银的人力和硬件损耗。

VLA（视觉-语言-动作模型）是具身智能中最早受到关注的技术路线。

但很快，大家发现这个技术存在物理理解缺失、泛化能力极弱、长时序与规划能力不足等等问题，做不到“一家独大”包打天下。

大家有点着急。后来，世界模型又成了行业里的新宠儿。

但世界模型似乎也不是灵丹妙药（至少目前来看是这样的）……

这也不行那也不行，具身智能，你到底要怎样啊？？

这个时候，原力灵机相关负责人站出来表态：

我觉得特别愚蠢的一件事情是在「技术路线」上给自己贴标签。这件事情是特别蠢的。
应该以目标导向。你要解决什么问题，挑选对应的方法去解决它，而不是说我是什么方法的、什么流派的，为此来证明只有我才是标新立异的。

他介绍，大约今年过年前，原力灵机意识到可将世界模型作为后训练的一部分。

一晃眼半年过去了。这个月，原力灵机发布了旗下首款具身世界模型DW0.5，并将它接入世界模型驱动的具身智能后训练框架DFOL2.0。

“这套基模支持多模态输入，包括任务指令、图片和视频，还能选定机器人类型。我们可以凭借历史动作，预测后续视频状态。”原力灵机联合创始人汪天才说。

他介绍道，DW0.5用上万小时真机、多视角数据完成联合预训练，仿真能力很强，能生成各类画面。

不光能做出机械臂正常作业的视频，就算参考错误动作，也能还原任务失败的场景，以此支撑DFOL2.0框架的在线强化学习训练。

DW0.5作为一个高保真仿真器，把强化学习搬进虚拟世界。

VLA先给出候选动作，DW0.5在虚拟环境中预演未来，判断成功、失败与偏离风险，再把可用反馈送回强化学习。

按其披露的数据，这套流程可让后训练中真机数据需求骤降60%，整体训练成本下降40%。

具身智能行业急需低成本反馈闭环

想了解DW0.5，咱们先来看清它解决了什么样的行业问题。

具身智能属于物理AI，它的目标是让机器人在不同环境、不同物体和不同失败条件下持续变强。

可惜后训练飞轮一直跑不起来。

真机一次rollout需要占用机器人、场地和人工，一次动作失败可能直接让任务中断；人工反馈虽然更接近真实判断，但难以高频覆盖每个中间状态；仿真环境成本确实低很多，但现实中的接触、遮挡、反光、形变和不确定性又很难被完整复刻。

基于这个现实，原力灵机从技术侧提出了判断：VLA需要一个介于真机、人工反馈和传统仿真之间的训练环境。最好它足够便宜、能支持高频探索，还更接近真实操作过程。

然后新的办法就被脑暴出来了。

用真实Rollout数据校准世界模型，世界模型支持低成本大规模的环境与数据生产，新的policy再回到真实环境验证和收集数据。

DW0.5就承担了原力灵机VLA模型（DM0.5）后训练中的Learned Environment的角色。

DW0.5三大专家模块重构仿真逻辑，全方位提升泛化能力

DW0.5能预测动作执行后的未来状态，甚至生成失败轨迹，并对任务进度打分。

具体而言，DW0.5以Video Expert、Action Expert、Value Expert三大专家模块组成能力链路。Video Expert与Action Expert共同服务动作后果预演，Value Expert负责价值评估与反馈构造。

这三个设计的思路各有讲究。

设计一：Action是强先验，而不是软提示

在部分世界模型里，动作信息只是一个附带的条件输入。但DW0.5把动作当成结构性的强先验。

它必须知道“机械臂在往这个方向移动”，才能预测出物理上合理的后续画面。

DW0.5把action当作视频生成的一等条件，通过结构化的帧级对齐强制绑定。

在MoT（Mixture of Tokens）注意力中，动作序列与视频序列拼接，并用group-diagonal attention mask切断视频帧与非对应动作之间的信息通路。

从结构上，执行向左推和向右推的动作，从一开始就走向完全不同的计算路径。

讲道理，我们观察到近期学术界对这个技术趋势有范围不小的探讨，即主流VLA不做视频预测，只做observation到action的映射。

DW0.5这类用视频预测作为辅助监督的模型，理论上能学到更强的因果动态理解。

设计二：能模拟失败，才配得上叫“仿真器”

只有成功轨迹数据训练的模型容易形成过强的成功偏置，这样的系统无法识别错误动作，更谈不上为强化学习提供惩罚信号。

同时，失败轨迹数据的价值对后训练来说挺珍贵的。

因此DW0.5被明确要求能够生成“做砸了”的视觉轨迹，让Value Expert可以对比成功与失败的差异，给出有区分度的打分。

其数据策略围绕模拟失败设计，让模型既学习“应该怎么做”，也学习“做错了，世界会变成什么样”。

团队表示，DW0.5有四类数据源：

• 具身公开数据与自采机器人数据（包含遮挡、接触、延迟等真机噪声）
• 互联网视频数据（补充开放世界动态）
• Egocentric第一视角人类活动数据（迁移真实物理交互后果）
• 真机与仿真rollout数据（覆盖偏离、卡住、恢复等中间状态）

设计三：Value Expert把未来变成可训练的反馈

这是DW0.5从“视频世界模型”走向“训练环境”的关键一步。

Video Expert模拟动作后果，Value Expert把后果转成可优化信号，两者结合，才构成完整的RL训练闭环。

DW0.5引入Value Expert是为了把生成的未来转化为更密集的价值信号。

具体讲，Value Expert它对当前状态、候选轨迹或整段rollout给出成功概率或任务价值评估，将稀疏的任务结果信号转化为可以在每一步使用的中间反馈。

在闭环系统中，Value Expert可以用于：

• 候选动作筛选：对多个rollout打分，让VLA选择更可能成功的未来。
• RL后训练的reward信号：在世界模型环境中对VLA做策略优化，无需频繁占用真机。
• 部署时的在线监测：发现当前状态偏离成功路径，及时触发重新规划或失败恢复。

数据显示，DW0.5的Value-Order Correlation达到95%以上。

三个设计服务同一个闭环，让DW0.5在VLA的训练和部署中扮演离线数据增强与偏好构造、RL后训练环境、部署时规划与安全评估三种角色。

依托DW0.5训练-调优-部署的全闭环赋能能力，模型在工程化泛化表现方面同样值得关注。

1）高阶指令与多步动作跟随

模型不仅能精准理解“Pick up the hammer, lift it into the air, and hold it steady（拿起铁锤、举至空中并保持稳定）”等高难度多步长指令，还能丝滑实现跨构型的动作跟随。

2）多维连续泛化

在面对复杂长尾场景时，展现出了强大的跨环境、跨任务、跨构型的泛化生成实力。

3）多视角强一致性

在模拟生成机器人前视、左腕、右腕等多相机流时，展现出完美的空间与时序一致性。

4）动作-视频生成高度一致性

能够直觉化地理解人类的双手操作视频，并将其丝滑且等效地生成为机械臂的操作轨迹。

让世界模型在具身智能产业大规模落地

说了这么多架构和原理，最终还是要回到一个问题：

DW0.5到底怎么用？

整体来看，DM0.5作为基础策略模型，DW0.5负责动作后果预演与价值反馈，RL将两者链接。

基座模型DM0.5先生成一批初始动作，推给世界模型DW0.5

—→DW0.5当仿真器，在虚拟环境里把这些动作会导向的未来“跑”出来，批量生成成功和失败的轨迹

—→再由一个强化学习教练员CFG-RL，给每条轨迹的任务进度打分（成功的价值一路走高，失败的价值断崖下跌）

—→打分和奖励实时回传，更新模型权重，喂出一个更强的DM0.5

这个循环里大部分数据由DW0.5在线生成，不用全部靠真机翻来覆去高成本地去试。

噫吁嚱！

具身智能的世界里，世界模型终于有了一个明确的、能规模化应用在机器人部署过程里的岗位！

纸上谈兵终觉浅。可以看到，在打气球、晾衣服、叠纸盒等高难度复杂任务中，接入DFOL 2.0的模型相比单纯SFT（监督微调）基线，关键步骤成功率骤然提升。

• 打气球任务：“给气球打气”这一步成功率从10%升至90%；“气筒插入气球”成功率从10%跃升至100%。
• 晾衣服任务：“成功挂上衣架”这一长时序操作的SFT成功率仅50%，DFOL2.0加持下翻倍至100%；“衣架塞入衣服”的成功率也从60%提升到了90%。
• 叠纸盒任务：“叠右侧纸盒”和“叠左侧纸盒”两大难点步骤，成功率分别从35%拉升到了55%和50%。

评测集这边，DW0.5还在EWMBench、WorldArena等基准测试中横扫榜单，分别以4.73、73.54的分数，斩获全球SOTA（数据截至7月9日）。

真实部署进展方面，原力灵机表示DW0.5已在内部跑通具身后训练闭环流程DFOL 2.0，开始承担数据生成、价值评估和策略迭代工作。

同时，这套技术能力已接入原力灵机推出的DexDev MaaS（Model As a Service）平台。

对于特定具身场景中零样本泛化能力不足的模型，可通过后训练补足能力，并接回平台服务。

值得强调的是，原力灵机再三对量子位强调并肯定了真实数据无可替代的价值。

“我们只是用世界模型降低成本，真机数据还是很重要的。在技术演进上，世界模型目前仍需真机校准。”原力灵机联合创始人汪天才说。

我们问原力灵机，关于世界模型在具身智能领域的运用，还有哪些其他想法？

得到的答案是这样的——

随着视觉模型能力的不断提升，现场人员可以借助Ego相机采集操作数据，减少对专业真机采集和复杂后训练团队的依赖，降低现场后训练的门槛。

那么，就让时间来检验这个答案吧～

GitHub
https://github.com/dexmal/opendw
Hugging Face
https://huggingface.co/Dexmal/DW05-Base