用无人车硬件玩GTA 5,这个12岁孩子的外挂有点硬核

“我XXX没有开挂!”

晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI

现在用TensorFlow玩GTA5,你可以自豪地说:“我XXX没有开挂!”

用物理外挂的事,怎么能叫开挂呢?我只是用摄像头拍摄游戏画面,然后把手柄操作交给AI操作而已。

不过这个外挂的硬件成本有点高,改装部件299美元,够买好几个GTA5了。本来这套硬件是给汽车的自动驾驶改装准备的,现在却被拿来玩游戏。

另外还要有一台能流畅运行GTA5的Windows电脑,和一台在Linux上流畅运行TensorFlow计算机视觉模型的电脑。

有钱有技术真的可以为所欲为。

你很难想象,这个给GTA5用来自动驾驶的外挂,竟是出自一位12岁少年Leon Hillmann之手,硬件则来自创业公司comma.ai的产品。

comma.ai你可能没听说过,这家公司的创始人是天才黑客George Hotz

他曾是第一个破解iPhone的黑客,因为看不惯大公司作为,希望以一己之力改变自动驾驶行业,致力于通过低成本改装,给传统汽车加上自动驾驶功能。

既然comma.ai能用在汽车上,给GTA5加个物理外挂应该不是问题。

在GTA中开挂

comma.ai的自动驾驶软件叫做Openpilot,用TensorFlow实现,已经在GitHub上开源,支持本田、丰田等品牌的40多款汽车。

要把汽车上用的Openpilot移植到游戏里没那么容易。

和现实中的自动驾驶不同,GTA5中的汽车不会输出任何传感器数据,除了能看到周围路况,其余的信息也就是地图和车速了。

而comma.ai是给真实汽车准备的,没有汽车传感器的数据就不能正常工作,所以Leon花了两周的时间反向出方向盘、油门、刹车的输出。

到这里,Leon觉得应该差不多,他希望通过虚拟手柄实现对GTA的控制,最初用的是虚拟PS手柄,花了5天时间做了很多无用功,最后不得不转而使用Xbox手柄。(Xbox党的胜利!)

Leon的“行车记录仪”,用的是罗技C920摄像头,建议用1080p或更高清晰度。摄像头截获的视频传递给TensorFlow模型,算出反馈数据。

下面是根据实拍汽车视频得到的车道和轨迹输出数据,Leon稍加改造用在GTA5上。

外挂的整个流程是:

游戏画面 → Ubuntu笔记本电脑 → 模型预测 → 转换控制输出 → 通过本地网络发送到游戏机 → 模拟Xbox控制器输入 → 在GTA5中驾驶

试玩的输出画面像这样:

物理外挂背后的自动驾驶

前面已经说过,Openpilot由comma.ai开发,不寻常的是这款软件完全开源。

难道创始人George Hotz做软件不为赚钱,只为交个朋友,靠卖自动驾驶配件赚钱?

事实上是早在2016年,comma.ai已经开始销售999美元的自动驾驶配件Comma One。

然而,美国高速公路交通安全委员会(NHTSA)发出一封邮件警告,如果将未经测试的无人驾驶汽车投放至道路,那么将按天处以罚款。

因此,Hotz把自己的自动驾驶技术开源,自动驾驶配件仍按照999美元价格销售,现在已经升级到Comma Two。

Comma Two主要依靠面向前方的摄像头来观察道路,而驾驶员则需要后方红外摄像头。但除此之外,Comma Two没有什么特别之处。

为了控制真实的汽车,还需要通过特制线束在Openpilot和汽车之间建立物理接口。

除了传感器和汽车接口外,Openpilot另外还需要足够计算能力的Linux平台。

算下来,Openpilot比特斯拉的Autopilot便宜不少,只是如此简陋的硬件配置,真的有人敢给自己的车做改装吗?还是拿来做GTA外挂比较放心。

参考链接:
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587

版权所有,未经授权不得以任何形式转载及使用,违者必究。