她，18岁，李飞飞三度公开表扬，高中时NIPS获奖，创造AI手术教练

夏乙 郭一璞 发自 凹非寺

量子位 报道 | 公众号 QbitAI

一位00后女孩，登上最新一期《斯坦福医学》杂志的秋季报道。她被形容为《SuperStar》，一位超级明星。

这个报道被李飞飞点赞，而且在自己的Twitter上特地发文表扬——而这，已经是李飞飞第三次公开表扬这位小姑娘了。

她叫Amy Jin，今年18岁。哈佛大一新生。

高中时期，她依靠一篇用AI给外科医生打分的NIPS Workshop论文，成为李飞飞最喜欢的学生之一，并斩获一系列大奖。

今年初，Amy成为全美五位获得ACM/CSTA Cutler-Bell Prize大奖的高中生之一。

Amy Jin是谁

Amy是个“湾二代”，父母是来自中国的移民，并且都是物理学博士，Amy是家里的老二。

很明显，Amy继承了父母对科学的兴趣。六年级时，她就对AI产生了兴趣。

不过，真正开始AI研究还是在四年前，Amy开始在加州圣何塞的Harker学校读高中的时候。

Harker是一所私立学校，扎克伯格的妻子Priscilla Chan就曾经就读于此。这所高中每年的学费高达48500美元，换算成人民币，大概读四年高中学费需要130多万吧，够北京郊区一套首付。

不过按照湾区科技公司“搬砖”都有10W刀/年来算的话，这个教育投入比例在重视教育的华人世界里也算正常。

上了私立学校之后，Amy听到一位IBM的科学家介绍Watson如何用AI帮助人们提升医疗等领域的能力，这深深地吸引了Amy：“Watson可能成为医生的第二双眼睛，这让我觉得AI是一个非常有前途的领域，可以将许多不同的学科联系起来。”这也让她立志成为一名AI科学家。

机会很快就来了，就在读完高一的那个暑假，Amy遇到了AI4ALL。

AI4ALL，李飞飞创立的公益组织，致力于让各种少数群体，包括女性、亚裔、非裔等都能参与到AI的研发过程中。

拿下最佳论文

作为AI4ALL的成员，Amy在李飞飞的学生Serena Yeung和斯坦福医学院医生Jeffrey Jopling的指导下，顺利完成了一项用AI评测外科医生操作水平的研究，并作为一作完成了论文《基于区域卷积神经网络的手术视频中的刀具检测与手术技巧评估》。

别看这是一篇高中生一作的论文，它可不是小孩子过家家的作品，已经受到了学术界的认可。

去年，Amy团队把这篇论文投稿给了人工智能顶会NIPS。在这场会议的医疗机器学习（ML4H）Workshop上，这篇论文从120多篇提交的论文中脱颖而出，成为了10篇入选论文之一。

这个当时只有17岁的女生第一次上台，站在一个国际人工智能学术顶会上，向在场那些年纪比她大得多的研究人员介绍她的作品。

之后，在会议公布最佳论文时，Amy还在看自己的电脑，并没有听会议的宣讲。

毕竟，初入学术界的小朋友，无论是颁给哪位大牛，对她来说都一样——因为这些人Amy都不认识。

万万没想到，她听到了自己的名字。那一刻，Amy又吃惊又开心，感觉仿佛处在一个超现实的时刻。

外科医生的AI教练

Amy的研究，究竟是怎么一回事？

她和一群斯坦福科学家一起，训练了一个基于区域的卷积神经网络（CNN），让它“看着”手术视频，定位并识别出手术器材，再分析它们的动作，来自动评判这个手术做得怎么样。

当然，作为一项研究，它还不能分析所有手术，只选择了相对简单、常见的微创胆囊切除。

算法对视频的分析包含三个维度。一是各种器材出场的时间线，从有没有频繁更换工具、换工具的时间长短，都能看出医生是否熟练；二是手术器材移动范围的热力图，操作的区域越集中，就表示手术越精确、医生的技艺越熟练；三是关键手术环节的器材轨迹追踪。

同时，他们还公开了一个数据集，名叫m2cai16-tool-locations。这个数据集在法国斯特拉斯堡大学医院的m2cai16-tool基础上扩展而来，为原版数据集前10个视频的2532帧画面标注了手术器材的空间位置，包含7类手术器材，3141处标注。

论文和数据集，都可以在这里找到：

http://ai.stanford.edu/~syyeung/tooldetection.html

这项研究前前后后花了两年多的时间，和Amy合作的斯坦福科学家们，既有计算机系的coder，也有医学院的一线医生。

最先提出这个想法的，是斯坦福医学院外科住院医师Jeff Jopling。

外科手术无疑是门手艺，动手操作的水平非常关键。可是Jeff遇到的情况是，“就算练习1000次，也得不到多少反馈……不是每个老师都能给你解释哪做得好、哪做得不好”。美国外科协会也一直想找个方法来客观评测外科医生的技术水平。

于是，就有了这个几乎伴随Amy整个高中时期成长的项目。

跟随项目成长的高中生

Amy和她的斯坦福搭档们相遇，是在高一暑假，当时她已经注册了计算机科学的先修课程（AP），还加入了学校的女生STEM（科学、技术、工程、数学）俱乐部。

她身上有两个显著的特点，一是数学非常好，二是虽说还没有任何编程经验，却对计算机有浓厚的兴趣。

李飞飞的学生Serena Yeung负责指导Amy，她说，Amy各方面都超出了他们的期望。

不过，就算对这样一名优秀的高中生来说，评价手术技能的项目也还是太难了，Serena还是对项目做了些简化。

Amy同时也要为参加项目而补课。

在AI方面，她旁听了斯坦福本科生的计算机视觉课程，去了解基本的原理。

在医学上，Jeff是她的领路人。他在斯坦福医院的古德曼医学教育中心，向Amy展示了腹腔镜手术技术。

他们三个人每两周见一次面，邮件、短信才是用得更勤快的沟通方式。作为一名高中生，Amy有排得满满的课程表、要参加她的女生STEM俱乐部活动，还有小提琴演出、舞蹈排练，一样也不能少。

就在丰富的高中生活里，她读了不少医学与计算机视觉交叉研究的论文，还和团队里其他人分享。

后来的结果你们都知道了。

这篇论文发表在2017年NIPS医疗机器学习workshop上，获得了最佳论文奖。

一作Amy，进入了哈佛大学。

李飞飞三次公开表扬

看到Amy的经历，我们很难不把她跟李飞飞联系到一起：AI4ALL成员，受李飞飞学生的指导……她的成功是离不开李飞飞的。

同时，Amy也让李飞飞引以为豪，三度公开发推特表扬，每次都是“very proud of”、“So proud!”

超骄傲！AI4ALL成员Amy Jin和我们一起完成的论文拿下了NIPS医疗机器学习Workshop的最佳论文，她是NIPS历史上最年轻的获奖者吧？

我为我优秀的学生们自豪，博士毕业的Timnit Gebru和Jon Krause，拿到新教职的Michelle Greene、Chris Baldassano、Alexandre Alahi、Lamberto Ballan还有Cewu Lu，荣获MIT科技评论35 under 35奖项的Olga Russakovsky，还有拿下NIPS17 医疗机器学习最佳论文的AI4ALL成员Amy Jin。

看来，Amy是李飞飞最年轻的爱徒了。

我对这个AI+医护的项目非常自豪，作者是我们AI4ALL成员Amy Jin、我以前的博士生Serena Yeung，还有我们斯坦福AI护理团队的同事们，好喜欢这些学生们的照片呀~

果然，没有老师不喜欢这种年轻有为的学生呀。

拿奖拿到手软

后来，有了这一篇NIPS Workshop最佳论文保驾护航，Amy顺利成为了“别人家的孩子”：

先是登上了IEEE计算机视觉应用冬季会议（WACV）的讲台；

接着拿到了ACM/CSTA Cutler-Bell奖，还有1万美元奖金；

之后是医药公司Regeneron科学人才搜索奖；

还闯入了西门子竞赛半决赛；

拿到了英特尔ISEF的二等奖；

最后还有5万美元奖学金的戴维森奖，成功给自己赚了一年学费。

拿到这个奖之后，甚至连国内的移民公司公众号都拿Amy来打广告。

除了校外拿奖之外，在Harker校内，Amy还是学校的女生STEM俱乐部主席、法国国家荣誉协会（大概相当于法语优等生俱乐部）主席、以及学生自主运营的科学期刊Horizon的共同主编。

在学习和科研之外，Amy还是个小提琴爱好者， 是加州青年交响乐团、2017加州全州交响乐团和学校乐团的成员，曾在卡内基音乐厅表演独奏，还在MTAC大会上拿到了加州弦乐组的荣誉奖项。

这一系列的奖项、荣誉、学生干部经历、才艺加起来，换算成国内，大概相当于大城市重点高中的社团主席+竞赛获奖，拿到一个清北校长推荐or自主招生或者干脆是保送也问题不大。

最终，Amy顺理成章的拿到了哈佛大学的offer。

研究还在继续

不过对于这项研究来说，这还不是终点。

现在，Amy的斯坦福搭档们还在继续完善这项研究，Jeff说，他们要把看视频自动评估手术技艺的能力从胆囊切除拓展到更多、更复杂的手术上，还打算收集1000段视频来训练这个AI。

他们和拥有22家医院的山间医疗展开了合作，来收集视频、优化算法。

临床研究中心主任Arnold Milstein对这个AI充满期待，他说，这样一个自动化的系统能成为医学生的教练，拯救那些要花好几个小时来评判学生手术水平的老师，甚至能用在手术过程中，实时提醒操作出了偏差的医生。

说不定，美国外科协会有一天会把这个算法用到认证考试里。