3D打印攻破无人车激光雷达:这个奇怪的盒子它看不见

百度新研究,攻破Apollo。

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

深度神经网络容易受到某些对抗样本的攻击,比如图像分类网络,只需在图中加入一点微小的扰动,就能让它把熊猫当成长臂猿。

如果把对抗攻击用在自动驾驶汽车上,稍微修改一下路边的交通标志,它就会犯错。

上面所说的对抗攻击都是针对二维图像。那么用探测三维物体的激光雷达(LiDAR)就可以避免这个问题吗?

来自密歇根大学百度研究院UIUC的研究人员发现,一些特殊的3D形状也会令激光雷达受到对抗攻击,让它错误地把某些物体当做行人,甚至视而不见。

这项研究揭示了基于自动驾驶系统的潜在漏洞,并提出了一种LiDAR-Adv方法,生成可以在各种条件下逃避激光雷达检测的对抗物体。

看不见的奇怪盒子

研究人员把两种不同的盒子摆在路中央:

方形的快递盒子,自然逃不过激光雷达的法眼,自动驾驶汽车可以成功识别并绕过它。

下面的是研究人员基于LiDAR-Adv用3D打印制造的盒子,在百度的Apollo无人驾驶平台(V2.0)上进行测试,结果激光雷达会把它当做是行人。

在其他实验中,激光雷达甚至无法检测到75厘米大小的物体。

在Apollo平台上进行的实验证实了,不仅是理论上,现实世界中的激光雷达也确实存在着漏洞。有些奇形怪状的盒子无法被激光雷达“看见”。

生成对抗样本

盒子明明就在那里,为什么会被视而不见呢?激光雷达并不是直接生成物体的三维图像,而是扫描空间中的点云(point cloud),将点云馈送到机器学习系统,从而还原出物体。

虽然我们知道激光雷达的工作原理,但是要生成对抗样本并不容易。首先机器学习是一个黑盒系统,形状的扰动如何影响扫描点云还不清楚;其次点云的预处理是不可微分的,无法使用基于梯度的优化器。

研究人员提出的LiDAR-Adv解决了上述问题。他们模拟可微分的激光雷达渲染器,将3D对象的扰动连接到激光雷达扫描的点云;然后使用可微分的代理函数来制定3D特征聚合;最后设计不同的损失以确保生成3D对抗物体的平滑度。

在大小为50厘米的物体上,LiDAR-Adv可以达到71%的攻击成功率,高于进化算法的黑盒攻击,在更大尺寸的物体上也一样。

另外LiDAR-Adv生成的对抗物体还可以改变标签,让激光雷达把某些物体误检测为行人。

LiDAR-Adv的实验结果足以引起了人们对激光雷达系统安全性的担忧,百度研究人员希望这项工作能够揭示潜在的防御方法。

论文地址:

https://arxiv.org/abs/1907.05418

版权所有,未经授权不得以任何形式转载及使用,违者必究。