纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞
还学会了使用工具
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
注意看,这个机器人用手中的钳子轻松剪断了一根金属丝。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/85573f7d93120000abc7f3b3775e7637.gif)
盖上的铁盒子,也三下五除二就打开了。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/5fddd8b1639596728f9be1259a4b3104.gif)
除此之外,物体抓取等任务更是能轻松完成。
这个机器人的背后,是纽约大学联合Meta AI实验室推出的最新具身智能成果。
研究人员提出了一种名为TAVI的新训练方法,将视觉与触觉相结合,把机器人执行任务的效果提高一倍以上。
目前,研究团队的论文已经公开发表,相关代码也已经开源。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/b820d4a463f2d4900f8a1fb75254c91c.png)
看到这个机器人的表现,Meta首席科学家LeCun也不禁感叹这是一项惊人的进展。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/2330da7a01f597fcd68bc3a098241d0b.png)
那么用这种方法训练出的机器人,还能做些什么呢?
取物置物易如反掌
它可以把摞在一起的两只碗分开,然后拿取上面的一个。
仔细观察可以发现,在分开的过程当中,机器人的手部做出了撵的动作,让黄色的碗沿着绿色碗的内壁滑动。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/54458264b6259d25de84dd5747248ce9.gif)
这个机器人不仅能“分”,还能“合”。
将红色的物块拿起之后,机器人将它精准地放入了紫色的盖子当中。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/f80cd8c119911f07bf0b8ce0f44dac24.gif)
或者,给橡皮翻个身。
只见它将一大块橡皮拿起,然后利用下面的盒子调整角度。
虽然不知道为什么不多用几根手指,但毕竟也是学会了借助工具。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/81b94c8c0cb953e38521879bea7d1b89.gif)
总之,用TAVI方式训练出的具身智能机器人,动作已经和人类有了几分相似。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/f80662e1a2fc43f3d77278b3ebe993c4.png)
数据上,TAVI方式在6项典型任务中明显优于只用触觉或视觉反馈的方法。
和不使用触觉信息的AVI方式相比,TAVI的平均成功率提高了135%,和图像+触觉奖励模型的方式相比也翻了倍。
而同样采用视觉触觉混合模式的T-DEX训练方式,成功率还不到TAVI的四分之一。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/7c1e89b7725a7c8e2a14b5b7dcc4d46d.png)
TAVI训练的机器人还有很强的泛化能力——对于未曾见过的物体,机器人也可以完成任务。
在“拿碗”和“装盒”两项任务中,机器人面对未知物体的成功率均超过了半数。
此外,TAVI方法训练出的机器人不仅能出色完成各项任务,还能按顺序依次执行多项子任务。
鲁棒性方面,研究团队通过调整相机角度进行了测试,结果机器人依旧保持了高成功率。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/2bc0addab38f6606a8be66c8986d6468.png)
那么,TAVI方法是如何实现这样的效果的呢?
用视觉信息评价机器人表现
TAVI的核心是使用视觉上的反馈来训练机器人,工作主要分为三个步骤。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/94d3c6004060b286314340650c0f7ee3.png)
首先是从视觉和触觉两个维度收集人类给出的演示信息。
收集到的视觉信息会被用于建立奖励函数,以供后续学习过程中使用。
这一过程中,系统通过对比学习的方式来获取对完成任务有用的视觉特征,对机器人动作完成度进行评价。
然后结合触觉信息和视觉反馈,通过强化学习方式进行训练,让机器人反复尝试,直到获得较高的完成度评分。
而TAVI的学习是一个循序渐进的过程,随着学习步骤的增加,奖励函数越来越完善,机器人的动作也越来越精准。
![纽大具身智能新进展:靠视觉反馈学会开罐头,任务成功率提高135%,LeCun点赞](/wp-content/uploads/replace/1457c9d30a9873e85afec3f9f806d6b7.png)
而为了提高TAVI的灵活性,研究团队还引入了一种残差策略。
遇到与基础策略出现差别时,只需要对有差别的部分进行学习,而不必从头开始。
消融实验结果表明,如果没有残差策略,而是每次都从头学起,机器人完成任务的成功率将有所降低。
如果对具身智能有兴趣,可以阅读研究团队的论文了解更多详情。
论文地址:
https://arxiv.org/abs/2309.12300
GitHub项目页:
https://github.com/irmakguzey/see-to-touch
- 让AI视频进入「全民GC」时代,这家中国公司刚刚真的做到了2024-07-24
- 百川智能回应200亿元估值:为B轮投前估值,A轮总融资额达50亿元2024-07-25
- 刚刚,中国IMO奥数憾失第一,五连冠统治被美国队终结2024-07-21
- 给iPhone背面贴个AI录音机,生意老好了2024-07-21