墙后的所有姿势，全被“瞎眼”AI透视

李林 若朴 发自 凹非寺

量子位 出品 | 公众号 QbitAI

古人云，隔墙有耳。

但想要做到“隔墙有眼”，就像二娃那样，能穿墙透视，似乎是种遥不可及的本领。

现在，MIT CSAIL的一群科学家，就用AI构建了一双透视眼。你在墙后的一举一动，它就都能看见。这项研究，作为spotlight论文发表在CVPR 2018上。

呐，效果就是这样。

识别的方式，就是把人体简略成一套基本的骨架结构。不同部位，用不同的颜色标示，左右手、左右腿都不一样。

即便你走到墙后，人眼看不到，但AI一样能准确判断你的位置与姿势。基本算是开了一个透视外挂。

墙都挡不住这套系统，窗帘就更不在话下了。

黑灯瞎火的地方，也完全不是问题。

上面这个演示，我们还可以看到，这个AI认出了两个人。没错，这个AI还能同时识别多人的姿态。

而且即便是多人同时交叉行进的复杂场景，这个AI也能顺利搞定。

看到这，你可能会说：除了穿墙之外，其他的演示，并不算炸裂啊，这种人体姿态的识别，已经早有人做了，不是么？

没错。

但这个AI，其实是个眼瞎的“盲AI”！

穿墙透视也好，多人识别也好，依靠的全都不是视觉信号，实际上，根本没给AI视觉信号。

那，这个AI靠什么识别人体？

无线电波。

它用的无线电波有点类似大家常见的WiFi信号，但是功率更弱一些。利用无线信号在人身上的反射，来“看清”人体。

因此，这个AI的名字就叫RF-Pose，从射频到姿势的意思。

来，感受下这两张图。看看你能不能脑补出人体姿势。

透视眼修炼之道

我们前面提到过，RF-Pose识别人类动作时，根据的并不是视频，而是无线电波的反射。

而想要训练这样一个AI，面临着一个严重困难：

根本没有标注好的数据集可用。

更要命的是，就算你纠集一批人类，想群策群力标注一个这样的数据集，也完全不可行——无线电信号那个微弱粗糙的分辨率，我们人类根本认不出。

这个困难，在训练过程中无法回避。于是，他们用上了“跨模态监督”方法，在无线电波接收器旁边加了个摄像头，同步记录无线电波和视频，然后从视频流中提取人体姿势信息，用作无线电波的监督信号。

他们在MIT校园里收集了50小时的数据集，男女老少都不放过，场景包括办公室、食堂、教师、报告厅、楼梯、走廊等等50余处。

在这个数据集里，最热闹的数据帧包含14个人，最少的当然是完全没有人。

也就是说，数据集包含两大部分：图像上能看到人的、和人被遮挡了的。MIT团队从图像上能看到人的部分选取70用于训练，30%留作测试用，而人被遮挡的数据全都用来测试。

70%能看见人的数据，拿来训练了一个跨模态“师生网络”。

在这个网络中，老师以图像为输入，预测出人体关键点的置信图，学生以射频信号为输入，以和老师最接近为目标，学着预测人体关键点置信图。

从置信图再生成出我们最终看到的骨架模型，RF-Pose的透视技能就算修炼完成了。

无线新方向

这篇论文的作者，包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

其中一作Mingmin Zhao（赵明敏），本科毕业于北京大学，目前在MIT读博。去年夏天，赵明敏发表过另一篇AI+无线信号的论文，主要用这个技术来监测人类的睡眠情况。论文发表在ICML 2017上。

论文传送门：http://sleep.csail.mit.edu/

此前，他还研究过使用无线信号识别表情。

传送门：http://eqradio.csail.mit.edu/

你看，这其实是一整套技术。不用安装摄像头，只需要通过类似WiFi的无线信号，现在就能知道你在哪，有什么动作，是什么姿势，情绪怎么样，心跳快不快以及睡眠质量怎么样……等等。

当然这套技术并不是要窥探你的隐私。

而是有更广泛的应用场景。例如，帮忙监测家里的老人或者医院的病人。这套系统有几个好处。

首先，不用摄像头，省却了很多隐私的担忧。

其次，这个技术能比较准确的识别出不同的人，并且追踪行动、姿态、情绪等相关数据。

再次，监测可以穿墙而过，不受干扰。

以及，被监测对象可以不必佩戴随身任何其他设备，轻松高效。

总之这是个很有意思的方向。当然这一方向的研究，还有大量的工作需要完成。比方，这个团队会继续寻求捕捉更细微的动作，例如老人的手部颤抖等。当然透视监测的准确率，也需要进一步提升。

而赵明敏之所以一直研究这个方向，其实源于他的导师：Dina Katabi。

Katabi教授一直在研究无线技术，她是CSAIL实验室NETMIT研究组负责人，也是MIT无线网络和移动计算中心的主任。

上面提到的所有研究，其实都没有细讲无线信号的问题。

实际上，Katabi团队在2015年发表的一篇论文里，对这件事有更为详细的描述，论文题目：Capturing the Human Figure Through a Wall。

在这篇论文里，披露了当时那套无线设备的一些细节。

呐，就是这样。

研究传送门

项目主页：

http://rfpose.csail.mit.edu/

论文：

Through-Wall Human Pose Estimation Using Radio Signals

Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi

Computer Vision and Pattern Recognition (CVPR), 2018

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

说明一下，目前这个AI的监测效果，在没有遮挡的情况下，准确率62.4%，需要穿墙透视的时候，它的准确率是58.1%。

先别太苛刻，这个AI还是个宝宝嘛。就算是看着视频来识别姿势，现在AI的准确率也并没有非常高。2017年旷视在MS COCO人体关键点检测夺冠的成绩，也才73%而已。

推断出人体姿势之后，AI还能进行一些其他工作：比如根据这个骨架结构来认人。给AI两秒钟的骨架活动片段，它认人的准确率就能达到83%。