用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

一家来自中国的AI创业公司合刃科技,尝试用墙壁散射的光去复原被遮挡数字,正确率最高能达到97%,整个过程不需要1秒,更适合用在需要实时处理的自动驾驶。

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

试想一下,自动驾驶汽车行驶到了拐弯处,即使激光雷达再强大,也无法探测到建筑物后的有什么事情发生,如果是突然有行人冲出来,后果不堪设想。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

其实用激光结合强大的AI算法,可以帮你看到墙后究竟有没有人,甚至还能看出他的姿势。

最近,一家来自中国的AI创业公司合刃科技与华中科技大学、斯坦福大学等合作,尝试用墙壁散射的光去复原被遮挡数字,正确率最高能达到97%,整个过程不需要1秒,更适合用在需要实时处理的自动驾驶。

他们的论文《Direct Object Recognition Without Line-of-Sight Using Optical Coherence》已被CVPR 2019收录。

之前,量子位介绍过一种可以用墙面反射的复原屏幕内容的方法。而合刃科技提出的方法不需要复杂的图像重建过程,不仅能恢复简单的图像,甚至还能推测人体的姿势。

隔板猜物

研究人员给算法出了道难题,让它从拍摄白墙上的画面,推测黑色挡板背后屏幕上的内容。由于被拍摄物体和相机之间有不透明的障碍物,因此相机只能采集到挡板上漫反射的光。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

上面的布局太复杂,简化后的示意图如下:

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

除了这种比较简单的情形,研究人员还给算法出了两道附加题:让激光来回反射绕过两堵墙,甚至还设计了一种“旋转的墙壁”。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

由全息照片猜数字

激光与我们日常见到的日光、灯光不同,不仅能记录强度,还能记录相位信息,通俗地说就是能记录被拍物体的立体信息,与全息照相类似。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

当携带MNIST数字信息的相干光经过挡板漫反射后,形成散斑图。虽然由散斑图复原物体有困难,但是可以用AI算法,对障碍物后面的数字变化进行实时识别。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

仅仅能识别数字图像还不行,研究人员还尝试从散斑图找到中得到墙后面隐藏的人,已经他正处在什么姿势。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

在处理图像时,AI算法用了两个网络:

1、SimpleNet,它用来对10个数字图像进行分类,包含4个卷积层,完全连接层中由1024个神经元。

由于全息图像的每个区域都包含被拍摄物体的全部信息,为了减小计算量,研究人员只选取照片中200×200的一小块区域,从拍摄的1万张照片中选取95%作为训练集,5%作为数据集。

2、ResNet-18,它用来对人体姿势进行分类。输入图像被裁剪至224×224。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

准确率最高97%

在识别MNIST手写数字的实验中,算法的平均识别准确率均在91%以上,最高可达97%。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

通过深度学习的AI算法处理,研究人员对12个人不用的10种姿势进行识别,得到的平均识别准确率为78.18%。

用AI实现隔墙“透视”,准确率达97%,这家中国公司研究入选CVPR

论文链接:

https://arxiv.org/abs/1903.07705

版权所有,未经授权不得以任何形式转载及使用,违者必究。