全球首个！银河通用新框架仅需人类视频即可部署，特斯拉蚌埠住了

鹭羽 发自 凹非寺

量子位 | 公众号 QbitAI

终于，现学现用的风也是吹到了具身智能。

要说这两年，大模型最重要的变化之一，就是越来越不依赖预训练一锤定音，部分能力开始留到推理时刻再兑现。

OpenAI o1如此，DeepSeek-R1也是如此。模型推理能力提升，靠的是在应用过程中的持续自我提升。

但机器人不一样，它面对的是比文本更复杂的物理世界，任意一次误判都有可能损坏抓取对象。想让机器人像大模型一样在部署时进化，行业内一直没有人做到。

直到今天，这条路线第一次被银河通用走通了。

刚刚，银河通用正式发布全球首个面向具身智能大模型的测试时后训练框架WAM‑TTT（World-Action Model Test-Time Training）。

它首次将Test-Time Training（TTT）范式从NLP和大语言模型，迁移至物理世界的机器人控制。

说人话就是，机器人可以「现学现上岗」。

不过这里的学习，学的不是具体动作，不是要机器人看一遍视频就学会一个新技能，WAM‑TTT重在让机器人消化理解当前任务。

它会让机器人先通过人类示范视频充分了解场景信息，再把这些信息写入临时记忆，然后结合原先已有的动作能力完成任务。

这样既能适应新环境，也能保证原先能力不丢失，实现部署后的连续学习。

自此，具身智能得以开启属于自己的后训练时代。

全球首个具身测试时后训练框架

要知道，现阶段整个具身智能行业都受限于同一核心痛点。

一个机器人在训练场里学会了搬箱子，精度、成功率都拉满。可一旦换个环境或者换批箱子，它就立刻摆手不会。

同一项技能，训练时精通，部署时失灵，这就是学术界常说的部署到真实场景中泛化性衰减。

更麻烦的是，客户每换一个新的部署点位，都得重新采集数据、重新适配模型。整套流程下来又贵又慢，具身智能压根无法规模化落地。

WAM‑TTT要解决的就是这个问题。

根据官方介绍，它是一套基于原始人类实拍视频、推理阶段完成适配训练的TTT轻量化框架，低成本且泛化能力强，首次系统性破解了跨场景、高效、规模化部署这道行业难题。

它的能力可以用一句话概括：

WAM‑TTT无需重新预训练，也无需大量机器人轨迹数据和人类动作标注，就能让机器人在部署阶段快速适应新场景、新任务。

听起来有些抽象，那我们不妨用一个厨师的例子类比。

如果我们把机器人想象成一个已经出师的厨师，从出厂那天起，它就拥有从预训练阶段学来的扎实的基本功。现在顾客走进后厨，希望厨师做一道没做过的菜，还给它看了教学视频。

通常一般的机器厨师会逐帧模仿学习，但WAM‑TTT不一样，它会先把顾客的要求写到一张便签上，然后调用自己已有的厨艺，再照着便签把菜做出来。

这张便签，就是WAM‑TTT的核心机制，一块独立的小型参数存储单元fast-weight memory（快速权重记忆）。

具体来说，WAM‑TTT的底座是一个预训练好的世界动作模型（World Action Model，WAM）。

内部由视频专家和动作专家两部分组成，前者负责理解当前画面里发生了什么，后者负责生成对应的机器人动作。二者之间再通过联合注意力维系通信。

需要注意的是，在WAM-TTT整套流程中，WAM的主体权重全程保持冻结，不会随着学习过程更新，所有学习操作都只在前面提及的记忆模块中完成。

整个训练可分为两个阶段：

• Meta-Training（离线元训练）阶段：

这一步是机器人的出厂设置，团队借助成对采集的人类和机器人演示数据，通过Key-Value向量对自适应记忆，实现人类视觉线索与机器人行为的对齐。

相当于教会厨师怎么读懂顾客的便签，以后碰到新视频，就能自动理解付诸行动。

• Test-Time（线上测试时训练）阶段：

这一步才是用户实操阶段，需要提供给机器人一段未标注的人类RGB视频，主WAM会完全锁死，仅更新轻量化记忆模块参数。

完成记忆更新后，WAM‑TTT就会将学习到的操作逻辑送入相机观测画面，模型再输出机械动作完成任务。

对比传统架构，WAM‑TTT的表现也是一骑绝尘，总体来看实现了四点突破：

第一，大幅降低机器人轨迹数据依赖。

部署阶段可摆脱对昂贵人工遥操作数据的需要，比如特斯拉Optimus的训练数据就长期依赖现场数据采集。在加州弗里蒙特工厂上百人的数据采集团队中，每人每天要在长达8小时的轮班中重复数百次相同的动作，人力物力成本相当高。

而WAM‑TTT仅用未标注的人类视频即可完成后训练，成本降低的同时，完成度能够逼近甚至持平专业遥操作数据。

具体在专门的数据比例消融实验中，可以发现，当训练数据由100条机器人轨迹+100条人类视频组成时，任务平均成功率可达74.1%，已经与全部使用机器人轨迹训练的效果基本相当。

这意味着，在一定条件下，一段普通人视频几乎可以1:1替代一段昂贵的机器人遥操作数据，无疑降低了数据采集成本。

第二，无需人类动作标注。

很多Human-to-Robot学习方法，虽然也使用人类视频，但仍需要额外完成手部姿态估计等步骤，WAM‑TTT则是完全跳过，直接采用自监督学习，让模型自行理解任务过程。

团队还专门在实验中搭了一条对照管线，验证加了人体姿态估计和动作重定向后，四个任务平均完成度只有28.9%，相比原始WAM-TTT掉了整整43.4个百分点，尤其是在Table Bussing任务上直接从100%掉至33.3%。

第三，不改模型不重新预训练。

为验证这一设计，实验分别与两种更直接的方案进行了对比。

第一组是WAM-COTRAIN，团队直接把人类演示数据混进联合训练，结果显示任务成功率只有29.8%，反而低于完全不用人类数据的基线，这也说明了人类视频并不能简单作为新增训练数据加入预训练流程。

另一个对照组是WAM-LoRA，使用的是更通用的参数高效微调方法，然而在Table Bussing和Swap Place两个任务上分别只拿到30%和0%，而WAM-TTT是100%和88.9%。

所以相比重新训练模型或直接修改模型参数，冻结基础模型、仅通过快速权重完成部署阶段适应，不仅成本更低，也能更充分发挥人类视频的价值。

第四，不发生灾难性遗忘。

这一点直接体现在跨环境评测上。

团队把WAM-TTT分别放在标准训练场景和未知的真实家庭环境中，保持率约75.6%。

作为对照，同样利用人类视频、但仅通过In-Context Learning（ICL）提供上下文信息的，平均完成率则从48.4%骤降至7.1%，性能保持率仅14.7%。

进一步的细粒度测试中，研究团队分别改变光照条件和物体空间位置，WAM-ICL完成率只有12%～20%，而WAM-TTT还有60%左右。

这足以说明权重适配对保持原有能力稳定、实现跨场景泛化的作用。

这四点连起来看，也分别对应具身智能后训练的四个难题，包括数据成本、标注成本、训练成本和持续学习能力，对此WAM-TTT进行逐一击破。

再看整个机制，听起来很简单，但具身智能领域的Test-Time Training，实则要比大模型领域难得多。

银河通用何以做到“首个”？

且看行业内的具身大模型玩家，比如Google RT系列、Figure、PI，它们大多还是更聚焦在VLA架构本身或者世界模型能力的打磨上。

今年上半年，具身智能整体也才刚刚完成从技术验证到场景验证的跨越，任务泛化和数据稀缺仍然是行业公认的两大瓶颈。

它们难道不想用TTT吗？想，但是难做到，这中间隔着好几道坎。

文本世界中，token是离散的，生成错了那就重新采样一次，但机器人的动作空间是高维连续的，一个抓取动作的力度和角度差之毫厘，结果可能天差地别。

文本世界对实时性要求不高，机器人却要跟上物理世界的时间尺度，决策慢一拍就可能错过抓取窗口。更关键的是，机器人的物理交互一旦发生就不可逆。

种种原因下，具身TTT其实是很难实现的，这也是为什么WAM-TTT值得被关注。

大家都在努力把机器人训练得越来越聪明，行业默认更聪明就需要获取更多机器人数据，但每多一条数据，就意味着新的成本。

所以WAM-TTT走的是另一种更高效的解法：与其不断扩大训练数据，不如让机器人学会利用部署现场的信息。

这种思路，也和近两年AI领域一个越来越明显的发展趋势高度一致。

过去大家相信Scaling Law，模型能力主要来自更大的参数、更多的数据和更长时间的训练，但从o1这些推理模型开始，新的共识是模型能力来自推理阶段。

训练一次，部署之后持续成长，WAM-TTT本质就是这一思想的具身场景复现。

在此基础上，银河通用并没有简单照搬LLM的方法，它既没有靠上下文走WAM-ICL，也没有直接蛮力学习人类视频走WAM-COTRAIN，而是巧妙使用快速权重作为核心支点。

事实证明，银河通用的思路是正确的，它真真切切打通了这层技术壁垒，TTT首次在具身物理世界发挥了关键作用。

补齐具身智能最后一块拼图

那么问题来了，这件事对于银河通用又意味着什么呢？

答案还要从这家公司的技术路线说起。

银河通用自成立以来，就一直坚持具身多模态大模型这条路径。2025年，团队和北大合作在ICCV首次发布WAM，一举融合了世界模型和VLA两条主流技术路线，被行业公认是具身智能的下一代技术方向。

2026年，团队进一步发布AstraBrain WAM系列进阶成果，并在后续的LDA-1B模型中，首次将互联网数据、人类视频、机器人遥操数据等异构数据统一有效利用，让WAM第一次具备了清晰的规模化训练路径。

如今WAM-TTT补上了最后一块拼图。

它是银河星脑（AstraBrain）持续学习体系中，最新规模化部署技术的关键模块，也是团队面向世界‑动作模型（World‑Action Model，WAM）的一项世界级原创性技术创造。

预训练赋予机器人通用能力，后训练让机器人在掌握具体技能之后快速适应新场景，两者衔接，终于让内部从预训练到部署后持续学习的技术闭环第一次完整跑通。

而从行业视角看，WAM-TTT也不只是一次算法的突破，它更是把具身智能带到了规模化商业部署的门前。

在工信部、国务院国资委联合印发的《2026年度人形机器人与具身智能实景实训专项行动》中明确指出，到2026年底，人形机器人产业将率先在一批代表性场景中完成规模化应用验证与常态化落地。

但前提是，部署成本必须降下来。

WAM-TTT出现得恰到好处，它把后训练环节的成本从遥操作级压缩至手机拍摄级，直接踩在了行业刚需上。

相比单点炫技，这类降本增效的基础设施能力才更能决定商业化落地的速度。

所以WAM-TTT的发布，往小了看，是第一次证明机器人也可以像大语言模型一样，在部署之后继续学习、持续成长。

往大了看，它也为机器人规模化落地提供了一条新的技术路径。

当机器人真正学会在真实世界中不断积累经验时，也就意味着银河通用乃至整个行业，距离2028机器人ChatGPT时刻，又近了一步。

论文链接：
https://arxiv.org/html/2607.06988v2