“机器人正在接管旧金山”
公园、大街都逛遍了
西风 发自 凹非寺
量子位 | 公众号 QbitAI
一批人形机器人在美国旧金山街头出没,引得过往行人驻足观望:
可能还去上了个课,从加州大学伯克利分校校门大摇大摆走出:
路线不对,踩着小碎步,稳健调头:
或者不装了,调什么头,直接倒着走:
在各种场景下都可以看到它们的身影:
于是乎,“机器人正在接管旧金山”的消息已经传开了😂:
要不是视频中还有人类出镜,网友都要怀疑这是不是真的在旧金山:
这就是来自加州大学伯克利分校的人形机器人成果。研究人员提出了使用序列建模和动作预测的Causal Transformer模型。
使得人形机器人可以在室内外各种环境中稳健行走,应对不同地形,甚至还能背个书包,提袋垃圾:
怎么做到的?
此前,尽管一些人形机器人在特定环境下表现良好,但广泛存在泛化和适应新环境方面的问题。
来自加州大学伯克利分校的研究人员提出了运用Causal Transformer的方法。
这是一种特殊的Transformer模型,通过自回归从观察-动作历史信息中预测下一个动作,也就是模型的输出(预测的动作)只依赖于其输入(观察-动作历史信息)中的先前信息。
具体来说,在处理“观察-动作对”时,模型会将每个“观察-动作对”作为一个token,并通过自注意力机制来学习这些token之间的关系。在自注意力计算中,模型会为每个token分配权重,这些权重反映了在预测当前动作时,序列中其他token的重要性。
由于Causal Transformer限制了自注意力只能考虑前面的token,它能够捕捉到序列中的因果依赖,即当前动作的决策是基于之前观察-动作的历史信息。
通过这种方式,Causal Transformer能够使机器人在复杂和动态的环境中,在没有未来信息的情况下做出适应性更强的决策。
训练阶段,研究人员使用Isaac Gym模拟器进行大规模并行训练,模拟了机器人的刚体和接触动力学。
为了模拟机器人的闭链动力学,引入了“虚拟弹簧”模型。在模拟中随机化机器人的动态属性、控制参数和环境物理属性,以及添加噪声和延迟到观察中。
从模拟到现实的转移方面,研究人员在机器人初创公司Agility Robotics提供的高保真度模拟器中验证策略,该模拟器准确模拟了Digit机器人的动态和物理属性。
经过实验,Digit机器人能够在多种环境中可靠行走,展现出对外部干扰的鲁棒性:
以及在不同地形和载荷条件下的适应性:
顺带保持手臂摆动协调有力,不顺拐:
Digit人形机器人
再来介绍一下demo中的这款人形机器人——Digit。
背后公司Agility Robotics,前身为俄勒冈州立大学的Dynamic Robotics Laboratory。2022年,获亚马逊投资。
Agility Robotics的主要产品是以鸵鸟等鸟类为发想的双足步行机器人,主要研发成果包含Cassie、Digit两个机型。
其中Cassie是只有下半身的双足机器人:
至于Digit,像是下面这个,已经成为亚马逊75万机器人员工中的一员,不过还处于测试阶段,负责搬运亚马逊标志性的黄箱子:
Agility Robotics表示,将在今年向合作伙伴交付第一批Digit,Digit的初步应用包括仓库和配送中心内的散装材料处理,预计2025年全面上市。
他们最近还宣布开设了一家新机器人制造工厂RoboFab™,声称第一年预计生产数百台机器人,之后每年产能最多可达10000台。Digit也将在新工厂中上岗,进行搬运、装载等工作。
参考链接:
[1]https://twitter.com/minchoi/status/1749784839824216511
[2]https://learning-humanoid-locomotion.github.io/
- 稚晖君后宇树也来玩开源了:机器人操作数据集,采用抱抱脸LeRobot训练测试,网友:泰裤辣!2024-11-13
- 高瓴、蓝驰领投灵初智能,致力于打造业界领先通用灵巧操作智能体2024-11-13
- 智源举办2024具身与世界模型专题峰会,产学研共促技术创新与产业应用2024-11-08
- AI蛋白质诺奖后再登Nature,第一性原理级精度,微软亚研院4年之作2024-11-08