DeepMind登上Science:“和AI相比,人类都是猪队友”,团战称霸雷神之锤3

臆测一下,这个大概是说:人类是猪队友,吧?

栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

AI组队,比人类战队的成绩好。

AI与人类组队,还是远超人类。

DeepMind为了训练强化学习AI的团队协作能力,选择了雷神之锤3竞技场的夺旗游戏。

从去年到今年,AI不断进化:

如今,把反应速度降到和人类水平把标记准确率也降下来,胜率依然超过人类。

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

而AI学习的资源,也只有第一视角看到的游戏场景,以及比分,没有比人类获得更多信息。

当AI赢了柯洁,我们说AI不会合作;当AI赢了刀塔2世界冠军,我们说是冠军太鱼反应速度不公平。

但现在,我们只能看着DeepMind登上最新一期的Science

然后,观察一下这些既懂得相互协作、又懂得和人类协作的AI,是怎样修炼出来的:

严酷的训练场

夺旗游戏 (Capture the Flag) 是这样的:

两队各有自己的大本营,目标是把己方的旗守在大本营,并拔掉对方的旗。

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

如果我是蓝方,看见敌人扛着蓝旗跑,就要用激光标记它

这样,蓝旗会失而复得,敌人也会被送回它的老家。

五分钟内,哪一队拔掉对方更多的旗,这一队就赢了。

原本,雷神之锤3竞技场里只有5张地图;团队竞技场,也只有几十张地图。

为了让AI受到更加严格的训练,DeepMind随机生成了许多游戏里原本没有的地图

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

就在这样的竞技场里,DeepMind同时训练了30只智能体,主要原理是LSTM。

这30只AI选手,一共打完了45万场游戏

在这个过程中,还要不时淘汰掉表现不佳的AI,用顶尖AI选手的变异版本 (Mutations) 代替。这是进化算法的思路。

最终,选出最优秀的一只AI,取名For the Win (FTW) 。

除了碾压人类,还会利用游戏bug

然后,就该测试FTW的实力了。

首先,是人机混战:DeepMind找来40个人类,与AI随机组队。

结果,AI选手的个人胜率远超人类:

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

研究人员发现,AI不但能同人类/AI协作,还形成了经典的团战策略

比如,跟在队友身后,这样一旦与敌人交火,便能在人数上超过对手。

还有,在敌人大本营附近游荡,当队友拿到旗子的时候可以迅速接手往回跑。

除了这些人类常用套路之外,AI还发明了全新策略:

利用游戏里的一个bug,从背后向队友射击,能加快队友的速度。

除了看到现象,团队还想知道,AI为什么会修炼出这许多技能。

于是,研究了AI的行为模式,观察它们是如何理解比赛:

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

各种颜色的点点,分别代表:旗在阵地,队友扛走了敌方大旗,自己处在敌方阵地等等。

不同战况之下,AI的反应明显不同。安全和危险,分得清清楚楚。

调至同一起跑线

虽然,AI在初次混战中碾压人类,但DeepMind团队十分理智地以为

AI之所以超过人类,主要优势一是反应速度快,二是射得准 (感觉哪里不对) 。

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

所以,团队手动把反应速度调慢到人类水平267毫秒左右,把80%的射击准确度降低到和人类相当的48%左右

然后重启比赛,这次是真正的人机对战

人类战队分为普通人类 (Average Human) 和强大人类 (Strong Human) 。

DeepMind称霸雷神之锤3:登上Science,人类都是猪队友

结果,强大人类组成的战队,对战AI的胜率也仅有21%。

对人类来说,唯一值得庆幸的是:

当有AI加入人类战队,与纯AI战队互打的时候,人类战队的胜率终于超过了AI战队。

臆测一下,这个大概是说:人类是猪队友,吧?

Science论文传送门:

https://science.sciencemag.org/content/364/6443/859

Science报道传送门:

https://www.sciencemag.org/news/2019/05/artificial-intelligence-learns-teamwork-deadly-game-capture-flag

OpenAI博客传送门,内容刚刚更新:

https://deepmind.com/blog/capture-the-flag-science/

版权所有,未经授权不得以任何形式转载及使用,违者必究。