李飞飞新论文「AI医生」诊断抑郁症，准确率超80%，可移植到手机
郭一璞 假装发自 斯坦福
量子位 报道 | 公众号 QbitAI
在全世界范围内，有超过3亿人患有抑郁症。其中的60%的人都没有接受任何治疗。
我们时有听到名人患抑郁症甚至严重到自杀的消息，却不知周围一些普通人身在病中不知病。
面对这一病症，AI能做些什么？
曾经说过“AI没有国界，AI的福祉亦无边界”的李飞飞老师这次要为那些怀疑自己患抑郁症的人创造福祉了，这次她和团队瞄准了AI诊断抑郁症这个方向：
结合语音识别、计算机视觉和自然语言处理技术，通过表情和语言诊断一个人是否患了抑郁症。
目前，这项研究初见成效，诊断抑郁症的机器学习模型目前precision达到83.3%，recall达到82.6%。
并且，这个模型可以部署到手机上，让更多人能方便的诊断抑郁症，不再受困于“没钱”、“没时间”、“别人知道我去查抑郁症会怎么议论我”的阻挠之中。
另外，这项研究成果还入选了 NIPS NeurIPS 2018医疗健康机器学习（ML4H）Workshop。
下面，量子位为大家详细介绍李飞飞这篇新作品的具体内容。
为什么用表情和语言能诊断抑郁症？
因为医生就是这么干的。
在目前的抑郁症诊断过程中，医生需要和患者面对面聊天，来判断对方是否患病。
需要医生来观察的要素包括：
对方是否语调单一，完全不抑扬顿挫；
说话音量是否比较低；
讲话时手势是不是比正常人少；
是不是总爱低头向下看；
……
另外，还需要通过患者健康问卷（PHQ, Patient Health Questionnaire）来调查来了解更详细的信息。
用AI来诊断抑郁症，就相当于用机器学习模型来代替那个和患者对话的医生，把患者在医生面前的表现变成数据，输入机器学习模型中。
因此，李飞飞团队采用的方案是先模型中输入3D面部关键点视频、患者说话的音频和转成文字的访谈录音三种数据，分别对应下图中的abc三行。
之后，输出PHQ评分或抑郁症分类标签，就能得出此人是否患了抑郁症。
训练模型全过程
训练这个模型用到的是DAIC-WOZ数据集，包括142名患者的PHQ评分和189次临床访谈、总共50小时的数据。
整个模型由两个部分组成。
第一个部分叫句子级嵌入（Sentence-Level Embeddings）。
以往的嵌入方式都是嵌入一个音节或单词，只能捕捉几百毫秒的时间。李飞飞团队用的是整个句子多模态嵌入，可以实现捕捉更长时间的声音、视觉和语言元素。
下图就是多模态句子级嵌入的示例：
第二个部分叫因果卷积网络（C-CNN, Causal Convolutional Networks）。
之所以用因果卷积网络，是因为抑郁症患者说话慢。
相比普通人，抑郁症患者说话的时候会在不同的字词之间停顿更长时间，因此整个句子的音视频也就比较长。处理这种长句子的时候，因果卷积网络要比RNN强。
效果如何
我们来看一下实验结果。
其中，A是指输入数据为音频，V是指输入数据为视频，L是指输入数据为文本。
对比前人的实验结果，李飞飞的这项新研究数据上相对较高。不过，与前人不同的是，这项新研究并不依赖一些预先做好的访谈记录，所以来的背景资料更少。并且，这项新研究无需特征工程，可以直接用输入原始数据。
这张实验结果表格对比了使用不同嵌入方式的结果。其中，前两行是手工嵌入，第3~6行是预训练嵌入，最后两行是我们用到的句子级嵌入，输入的是log-mel光谱图、3D面部关键点视频和Word2Vecs的序列。
传送门
论文：
Measuring Depression Symptom Severity from Spoken Language and 3D Facial Expressions
Albert Haque, Michelle Guo, Adam S Miner, Li Fei-Fei
https://arxiv.org/abs/1811.08592
- MEET2020 | 百度景鲲：AI交互正在吃掉旧产品边界，触达移动互联网盲区用户2019-12-10
- MEET2020 | 王砚峰揭秘搜狗AI技术体系：自然交互在左，知识计算在右，核心是语言2019-12-16
- MEET2020 | 旷视唐文斌：你到底给谁创造了什么样的价值？这是AI产品的灵魂拷问2019-12-17
- MEET2020 | 快手刘霁：AI基础能力决定每个公司AI的迭代和落地效率2019-12-20
相关阅读
让Hinton后悔投少了的AI公司：吴恩达弟子徒孙创办，LeCun李飞飞Jeff Dean投资，产品让人无法拒绝
Geoffrey Hinton、Yann LeCun、李飞飞、Jeff Dean都投了同一家公司CovariantAI，Hinton还后悔投少了
李飞飞夫妇打造了两件秘密武器，让机器人快速学习人类技能
