意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行
网友:阿凡达照进现实
西风 发自 凹非寺
量子位 | 公众号 QbitAI
斯坦福李飞飞、吴佳俊带队让《阿凡达》意念操控照进了现实!
现在,只需要动动脑子就能操纵机器人。
想吃寿喜锅不用自己动手,切菜备菜、倒入食材,机器人一气呵成:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/0f8a81f009a0771092263115087b4f53.gif)
做饭、烹茶样样都行:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/d0b558390671f010556c835504c7334c.gif)
忙完还能顺便把桌面清理了:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/83c286740aa577a850ff2b24da2ec1c6.gif)
你以为这就完了?这个机器人玩起游戏来也是一把好手:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/0fc30df57af23e204d570999ee7e9359.gif)
甚至还能帮你熨衣服:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/3671c8de0d4d138b5a541c1f0f6b603d.gif)
关键是,旁边的操纵者只需要坐在那里“冥想”即可,无需手摇摇杆。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/eb09a6bc4dae28d34be43b3acf661798.jpeg)
能做到这些,都要得益于研究团队最新开发脑机接口系统——NOIR。
这是一个通用的智能系统,使用者无需佩戴侵入性设备,机器人可以从脑电信号中解码人类意图。
并且它还配有一个“技能库”,可以随意组合各种技能完成人类指令,轻松应对高达20项日常任务。
要知道,常规脑机接口系统一般只专注于一项或几项任务。
目前这项研究已收录于机器人顶会CoRL 2023:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/a25db1287c6f912da208cfa678f06016.png)
围观网友一口一个哦买噶:
哦买噶,游戏规则改变者!
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/3c3bf9efbd8bddad0faf9423262700da.png)
清华叉院助理教授许华哲也来评论区捧场:
哦买噶,赛博朋克!
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/c31b9027e5d197ae83d1a45404fff0ff.png)
这个NOIR系统究竟是什么?机器人为何能完成这么多任务?
20项任务轻松拿下
正如上文所说,这个机器人能干的事儿多着呢。
干酪撒粉这种任务也能轻松完成:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/7053ad2565349224a07cb73ea129f7c5.gif)
拆包裹、整理桌面这种活就更不在话下:
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/cc9b6ce0683e61a24018334c82a5c68f.gif)
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/0ee12004df77a2149b83daca69ff1f3c.gif)
而其背后的这个NOIR系统,简单来说可以分为两部分:模块化解码管线、有原始技能库的机器人系统。
主打一个让机器人自动学习预测人类意图。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/4080339ecc40a4b8dc5ad009a5ba0d20.png)
具体来说,模块化管线将解码人类意图过程分为三个模块:
1)选择什么对象?
方法是在屏幕上显示任务场景,利用对象的闪烁刺激产生SSVEP信号;每个对象以不同频率闪烁,人类注视某对象时,脑电信号中该频率成分增强。
然后用Canonical Correlation Analysis(CCA)方法,分析不同频率的相关性,确定人类注视的对象。
2)如何交互?
这部分是通过提示人类想象执行某些技能(左手、右手等)产生运动意象信号,然后使用滤波和Common Spatial Pattern (CSP)算法预处理信号。
最后利用Quadratic Discriminant Analysis (QDA)进行4类识别,确定技能选择。
3)在哪交互?
人类想象控制光标的左右运动来选择技能执行的具体参数。同样通过CSP和QDA处理并解码脑电信号,判断人类是左还是右。
研究人员还设置了安全机制,采用肌肉紧张信号来确认或拒绝脑电信号解码结果,避免解码错误导致的风险。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/3266d3727bf4f402d7cfcbca9b84b300.png)
之后,机器人配备了一系列参数化的基本技能,例如Pick(x,y,z)、Place(x,y,z)、Push(x,y,z,d)。
可以组合使用这些技能来完成人类指定的各种任务。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/cfdbbb28e59586474f550b2438056cd6.gif)
在这个过程中,解码人类意图既费时又费钱。所以研究团队选择让机器人用基于检索的少样本学习,来学习人类的对象、技能和参数选择。
这样一来,在给定一个新的任务时,机器人会在记忆中找到最相关的经验,并选择相应的技能和对象。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/6719dc2469b363f0bf8159137d3c1ddc.png)
举个例子,假设人类在执行抓取杯子的任务,选择了在杯子的某个特定位置抓取(比如杯子的把手)。机器人会记录下当时的图像,以及人类选择的抓取点。
在之后的任务中,当机器人看到新的杯子图像时,它会首先根据预训练模型来分析这个新图像,提取图像的语义特征。
然后计算新图像的特征和之前记录的训练图像特征之间的相似度,找出最相似的一个点,作为它预测的抓取位置。
通过这种匹配图像特征的方式,机器人只需要人类示范一次参数选择,就可以在未来自己预测参数,而不需要人类每次都完全重新选择一遍。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/bff13e15ac6e085afa7de42f59ecde3c.png)
使用NOIR系统,3名人类参与者完成了上面我们所介绍的20项日常活动任务,其中包括16个桌面操作任务和4个移动操作任务。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/c4e94d6a642cd6ef839aa5d9d2e2bee6.png)
在测试中,每个任务平均需要尝试1.8次就能成功,平均完成时间为20.3分钟,这其中主要是人类决策和解码耗时,占总耗时的80%。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/cf8e3909cad12575bc840acfe7036ff2.png)
实验各阶段的解码准确率和其它脑机接口研究差不多,但使用这种方法可以将对象和技能选择时间降低60%,从45.7秒缩减到18.1秒。
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/488c163fd2071c79c07eb378fb82ef51.png)
作者简介
除了李飞飞教授、吴佳俊教授带队,论文共同一作有四位,分别是:
Ruohan Zhang
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/d12a116b3978affc5733b2a1d91ae35c.jpeg)
Ruohan Zhang是斯坦福视觉与学习实验室(SVL)博士后研究员,同时也是Wu Tsai Human Performance Alliance研究员。
主要研究方向为机器人技术、人机交互、脑机接口、认知科学和神经科学。
Sharon Lee
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/8784e348c15075fcdf29f3a10a13554c.jpeg)
Sharon Lee是斯坦福大学视觉与学习实验室(SVL)研究生研究员。
Minjune Hwang
![意念操纵机器人成真!李飞飞团队打造,做家务玩游戏样样能行](/wp-content/uploads/replace/9186b11703e735370c5f983184c312ef.png)
Minjune Hwang是斯坦福大学计算机科学研究生,于加州大学伯克利分校获得计算机科学和统计学本科学位,曾在亚马逊、微软和苹果进行研究。
Ayano Hiranaka
斯坦福大学研究生,本科毕业于伊利诺伊大学香槟分校。
论文链接:https://arxiv.org/abs/2311.0145
参考链接:
[1]https://twitter.com/drjimfan/status/1722674119794434187
[2]https://twitter.com/ruohanzhang76/status/1720525179028406492
- 打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制,一口气解答8大问题2024-07-26
- 谷歌AI拿下IMO银牌,仅差一分得金!第四题仅用时19秒2024-07-26
- 港大马毅:大模型长期没有理论就像盲人摸象;大佬齐聚谈AI下一步2024-07-24
- 贾扬清共一论文获ICML时间检验奖:首个开源版AlexNet,著名框架Caffe前身,最佳论文奖也已公布2024-07-24