哈佛在跳动的心脏里实现“自动驾驶”:全球首例,秒速抵达漏洞所在,媲美人类医生

科学家说,是蟑螂和老鼠给了他们灵感。当然,也少不了机器学习算法。

边策 栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

我们的心脏,一刻不停地跳。

为心脏做手术也就危机四伏。比如,治疗心脏瓣膜的问题的导管插入术,要求身为医生的人类,手动把导管送到心脏瓣膜的漏点。

手动导航的操作,受到心跳的强烈干扰,稍不小心就会出现差错。

△ 手动导航

但现在,哈佛医学院的研究人员,把导管变成了机器人,可以在心脏里自动驾驶

完全不用人类医师导航,机器人能自己找到心脏瓣膜的漏点。随着心跳,自动驾驶的道路时刻在变化,可机器人依然能准确抵达目的地。

在整个星球上,这还是第一次

他们的机器人导管,已经在跳动着的猪心脏里测试过,秒速抵达,表现媲美人类医生。

机器人登上了新一期的Science Robotics子刊。

那么,在心脏这样复杂的环境里,机器人是怎么找到路的?

科学家说,是蟑螂和老鼠给了他们灵感。当然,也少不了机器学习算法。

如何直达心脏瓣膜

一方面,机器人具有计算机视觉处理能力,另一方面还有蟑螂触角一样的触觉,结合这两种感知能力,它在心脏内自动游走,寻找心脏瓣膜泄漏的位置。所以科学家们把它叫做“触觉视觉自主机器人”。

心脏微创手术需要在皮肤上开孔,然后由医生插入导管,靠经验手动操作找到手术位置。而触觉视觉自主机器人为医生省去了手动导航的步骤。

触觉

为了让导管变成体内自动驾驶的机器人,研究人员除了在前端加入摄像头外,还加入了“光须”(optical whisker)。

它就像蟑螂用触角、老鼠用胡须探测物体一样,通过力的大小来计算导管前端与心脏内壁的距离。机器人也可以在心脏里找到自己的方向。只要一直沿着“墙”走。

要想知道机器人在心脏内的运作方式,我们先要介绍它与心脏的两种接触模式:

1、连续接触模式:导管与心壁平行,由于导管的柔韧性,它在心脏跳动时一直与心壁保持接触。

2、间歇接触模式:导管与心壁垂直,此时前端正对心脏内壁组织,通过接触力的大小来计算距离。

在上面的过程中,患者不必担心探测器会损坏心脏,因为它与心脏瓣膜和心室内壁接触的力量很弱,和黄油沾在手上的力差不多。

机器人的触觉依靠的是导管前端与心壁的接触力,以及占空比,即导管和组织接触的时间在整个心跳周期中的比例。

实验表明,接触力的大小与占空比在很大一段范围内是成正比的。

在间歇接触模式下,机器人也会控制接触力不至于过大,机器人导管尖端在与心脏组织接触后会同步移动,防止心脏收缩时被导管刺伤。

视觉

除了触觉,自动导航机器人也要用到视觉

研究人员设计了一种基于机器学习的图像分类器,可以区分血液、心室壁组织和生物假体主动脉瓣膜。该算法基于感兴趣的特定特征出现的次数,确定这些特征的数量和图像类别之间的关系。

用一组手动标记的医学图像对算法进行训练,2000张照片的只需训练4分钟即可完成。将所得的模型用在7000张测试图像中,正确率能达到了97%。

当触觉视觉传感器横向压在组织上时,组织会在传感器尖端周围变形,覆盖其视野的一部分。导航算法识别图像中组织比例,再调整导管的位置。

用于视觉算法处理、和导管控制的电脑并不需要太高配置。其中用于导管运动控制的电脑配置为Intel Core Quad CPU Q9450@2.66 GHz,4GBRAM,另一台用于从触觉视觉传感器获取和处理图像的电脑配置为Intel Core i7-6700HQ@2.6 GHz,16GB RAM,图像处理速度完全跟得上相机帧率(45帧/秒)。

表现和专家相当

为了评估自动导航算法,研究人员比较了自动导航和远程操作(领域内专家用操纵杆控制)和手动控制(手持导管)三种不同手术方式的结果。

在90次实验中,自动导航成功了89次。自动导航比远程操作速度更快、方差更小,但是比手动控制要慢。

参与实验的研究人员表示,现在他们已经在猪的身上实验成功,进入手术室还需要几年的时间。

有什么意义呢

首先,就像开头提到的那样,受到心跳的干扰,手动导航并不简单。

除此之外,手术是个辛苦的过程,需要全程保持动作的高度精确。

如果分给机器人一部分任务,医生便可以专注在更加关键的手术步骤上,避免疲惫造成的动作变形,保证手术质量。就像飞机的自动驾驶,解放了飞行员那样。

约翰霍普金斯大学的Russ Taylor教授,也是医疗机器人领域的专家,他说:这是一项重大的成就

一旦“自动驾驶”导管的技术成熟、投入使用,可能给心脏外科手术带来不小的变革。

另外,虽然现在这项研究是用于心脏,但“在人体里自动驾驶”的做法,还可以有许多其他用处。

团队说,脑血管,气道,胃肠道,脑室系统等等,不同部位的病症,都可以用“沿着墙走”的方法,来做微创手术。

即便是没有血液流动的部位,触觉×视觉的分析方法也不会失色:依然可以用其他类型的传感器,来感知组织接触的情况,然后成像。

领队Pierre Dupont (简称杜邦) 博士有个宏远的设想:

有一天,全世界的自动驾驶手术机器人,可以把数据都汇集起来,一起让机器人变得更强大。就像自动驾驶车那样,地球每个角落的数据都能传回特斯拉,帮技术团队不断优化算法。

最复杂却最简单

自动驾驶的心脏导管,是在一个复杂团队的培育之下诞生的。

论文作者有10位,来自世界各地:美国的哈佛医学院附属的波士顿儿童医院,法国的斯特拉斯堡大学,以及宝岛的台北荣民总医院。

他们之中,既有医学博士,也有擅长机器人控制技术的研究人员,还有负责视觉算法的攻城狮。

领队杜邦博士说:

这是我做过的最难的项目,机器人身体里的程序总是要重写。我还记得,程序猿走出实验室的时候,已经累到完全没力气了。

才终于实现了心脏里的自动驾驶。

虽然,来时路途异常艰辛,但杜邦博士还是觉得:

技术是最简单的部分。要让更多的人用上这样的机器人,政策才是最重要的。

论文传送门:

https://robotics.sciencemag.org/content/robotics/4/29/eaaw1977.full.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。