英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

几千个智能体一起学跑酷,只要一个GPU一个CPU

听说,互相摩擦,有助于快速学习。

如果,模拟器里只有一个强化学习智能体,它可能活得很自在。

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

天大地大,虚拟机器人做个空翻、回旋踢之类,都不是稀有的技能,只是需要艰苦训练罢了。

那么,要是让几千个人形智能体,一起在模拟器里跑呢?

它们就会相互摩擦,亲昵地扭打在一起,形成一幅不可开交的美妙图景。

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

这不是重点,关键是智能体在摩擦的过程中,学起技能来,会比孤独的时候快很多

英伟达就想用这种方法来加速学习,于是开发了自己的物理模拟器。

在那里,人类跑步的姿势,智能体不用20分钟便可解锁。且只要一个CPU核心,不要成百上千。

相互摩擦,是最美的

英伟达开发的是一个GPU加速模拟器,支持千百只人形智能体,在同一个世界愉快地互动。

并且,只要一个Tesla V100 GPU,加上一个CPU核,就够了。

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

为了智能体更好地学习人类技能,团队为四种技能设定了Benchmark,由易而难:

一是,只用两条腿、但是像蚂蚁那样跑步 (不是说好的人类技能啊) :

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

二是,依然用两条腿、但像人类那样跑步:

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

三是障碍跑,遇到球球会站不稳,重点是重新找到平衡,不要摔倒:

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

四也是障碍跑,不过地形复杂,还是要在站不稳的时候努力保持平衡:

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

在复杂地形下训练过的智能体,会拥有随机应变的能力。

即便是在从未见过的环境里,从超过一人高的平台跳下也能迅速站稳,继续奔跑。

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

放进现实里,大概就是这个样子:

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

一个顶一千个?

现在,来和前辈们对比一下时间硬件成本:

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

一个CPU核心,抵得上一千个?

是有了GPU加持之后,模拟器每秒可以生成6万帧,帧时间 (Frame Time) 能降到0.02毫秒以下。也就是说,帧延迟小到几乎可以忽略。

那么,就算智能体的数量从5个增加到5,000个,也不会有什么压力。

由此,即便只用一个CPU核心,学习效率也可以得到保障。

英伟达“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

这项研究,是在英伟达的物理引擎FleX里面完成的。

很快,团队就要在CoRL 2018大会上,介绍研究成果了。

在那之前,大家可以欣赏一下论文:

GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning

https://arxiv.org/pdf/1810.05762.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。