谷歌造了个虚拟足球场,让AI像打FIFA一样做强化学习训练丨开源

足球AI虚拟环境

郭一璞 发自 苏州街

量子位 报道 | 公众号 QbitAI

除了下棋、雅达利游戏和星际,AI终于把“魔爪”伸向了粉丝众多的体育竞技活动:

足球。

今天,谷歌开源了足球模拟环境Google Research Football,智能体可以在这个宛若FIFA的世界里自由踢球,学到更多踢球技巧。

用足球进行强化学习训练,对AI来说更有挑战性,不仅要能控球,还得搞懂传球、角球这些概念,知道什么时候会犯规吃红牌黄牌,同时训练出足够机智的策略。虽然AI足球没有体能挑战,但智慧上的要求有增无减。

不少热爱足球的网友看到之后都十分激动,终于能把自己的爱好和研究结合在一起了。

甚至还有人为中国足球请愿:求谷歌帮帮国足吧!

可以打人机的足球引擎

这个模拟环境基于开源的足球游戏模拟器Gameplay Football,用C++编写,在GPU和CPU上都能跑。

整个环境包含一场球赛中的各种环节,和正常的人类足球赛一样,两支队伍各11名运动员,一个智能体可以控制一个球员,也可以控制一整只队伍,双方遵循正常的足球规则进行比赛。

比如可以开球。

射门。

还有裁判会给出判罚,智能体也可能吃红牌黄牌。

必要的时候还得会踢角球。

整个模拟环境中,AI球员们可以进行包括上下左右移动、长传、射门等在内的16种动作。

甚至,AI球员们还会和人类一样,踢久了就会累,你还能给每支球队准备3个题目。总之,这个模拟环境相当完备,具备各种功能和规则体系。

而且操作也十分方便,你可以直接用API把OpenAI Gym接入进来。

而且,整个模拟环境中不仅可以用AI球员,还可以手动控制球员,用键盘上下左右移动,按字母键进行传球、射门等操作,与AI对战。

模拟环境内置了高中低三个难度的对手AI,也可以自行调整难度。当然你也可以把两个自己的AI放进去,让他们互相伤害。

benchmark

Google不只准备了模拟环境,还为这个AI足球设定了一套benchmark。

谷歌用DQN和Impala两个强化学习算法在模拟环境中测试,将它们的奖励均设定为进球得分,在高中低三个难度上得到了运行结果。

足球学院

另外,为了让AI专点突破,Google还推出了足球学院(Football Academy),针对各种难度场景进行单独训练。

包括传球策略

队友配合

碰到2打1怎么办

角球得分训练

传送门

Google AI博客:

https://ai.googleblog.com/2019/06/introducing-google-research-football.html

论文下载地址:

https://github.com/google-research/football/blob/master/paper.pdf?raw=True

GitHub:

https://github.com/google-research/football

版权所有,未经授权不得以任何形式转载及使用,违者必究。