谷歌医疗大模型登Nature:准确率与人类医生「相差无几」
还推出了自创测试数据集
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
能为患者答疑解惑的谷歌医疗大模型(Med-PaLM),它的详细测评数据终于披露了!
现在,这篇论文已经登上了Nature,来看看里面的具体细节吧。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/265ac8a06cc513d9d6a8f1874afa8397.png)
团队首先研制了Flan-PaLM,并在此基础之上,通过提示策略等方式调整得到了成品Med-PaLM。
前者挑战了美国医学执照考试(USMLE),取得了67.6%的成绩,比此前最好的模型提高了17%。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/d1efc0622977b6f11c53cf398489b40d.png)
Med-PaLM相比于Flan-PaLM,在实际问题上的表现有显著提升,而后者则显示出很大不足。
经过专业临床医生评判,Med-PaLM对实际问题的回答准确率与真人相差无几。
除了Med-PaLM模型,研究团队还推出了自建医疗模型测评数据集。
团队成员Jason Wei兴奋地在社交媒体表示,自己89岁的奶奶经常问他有没有发Science或Nature,现在终于可以回答是了。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/fa387853e6e439f403d9411efcc23e1d.png)
多套测试数据共同认证
研究团队一共使用了七套测试数据集,从多个角度对Med-PaLM的表现进行了测评。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/c6fd4cb57bf31f04a0e0cc53641f64d4.png)
首先就是准确性。
Med-PaLM相比于其前体Flan-PaLM的主要改进不在于此,故这一步使用后者作为测试对象。
这部分一共使用了多个数据集,包括由USMLE题目构成的MedQA。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/e9d9f5d8f5cb8bc95c2ab7d98f5cb43b.jpeg)
结果Flan-PaLM在其中两个数据集上的表现较此前的最佳产品均有显著提升。
而针对PubMedQA数据集,Flan-PaLM的成绩虽然只提高了0.8%,但真人在该数据集中取得的成绩也只有78%。
更为专业的数据集MMLU中包含来自多个临床知识、医学和生物学相关主题的多项选择题。
其中包括解剖学、临床知识、专业医学、人类遗传学、大学医学和大学生物学等方面。
结果Flan-PaLM的准确度超越了所有的已知模型。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/7c15a278c406a0bb1ec1a16aa964ab76.png)
前面的测评主要是针对模型的理论能力,接下来就要进入实战了。
这个过程中Med-PaLM本体和前体Flan-PaLM都是测试的对象。
研究团队从另外三个数据集中共选择了140个问题(HealthSearchQA中100个,另外两种各20个)。
其中的HealthSearchQA是谷歌自建的,包含了3000多个问题。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/0c7300afa575118ab654d9d96f84f44a.png)
这些问题既包括学术问题,也包括患者在就医时可能会向医生提出的疑问。
模型的表现则由9名来自不同国家的医生组成的专家小组进行人工评判。
在科学共识方面,Med-PaLM的结果具有92.6%的一致性,远高于其前体,与真人医生相近。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/ac68b3ab02986ec0fea96ba26083247c.png)
但和真人相比,Med-PaLM输出的错误或不准确信息还是比较高的,在信息缺失方面差距则小一些。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/e2a906bdf26ec653fd959a04698c33e0.png)
不过错误的信息不一定会真的带来伤害,经过专家评估,Med-PaLM造成伤害的可能性与严重性和人类相比并不大。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/bd06493793f0e54d118e7b59313da8c9.png)
甚至出现偏见的概率比人类还要低。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/9ad2011abb1a1a8bb731504ffb7dc92f.png)
而从模型能力角度看,Med-PaLM在阅读理解、信息检索和逻辑推理能力上都表现出了接近真人的水平。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/f1185e00348d41779410c1b906379196.png)
而作为一款面向不特定人群的语言模型,获得专业人士的认可是不够的,因此,研究团队还邀请了非专业人士对Med-PaLM进行评价。
评价的标准有两条——「是不是所答所问」和「有没有帮助」。
结果在答案匹配度上,Med-PaLM和真人差了1.5%。
而对于「有没有帮助」这个问题,80.3%认为Med-PaLM是「有用」的。
这个数字和真人差距不小,但如果分别加上认为「比较有用」的人,区别就没有那么明显了。
![谷歌医疗大模型登Nature:准确率与人类医生「相差无几」](/wp-content/uploads/replace/2898d04907a768028232d4179f0819e3.png)
从以上测试结果可以看出,Med-PaLM和真人之间还存在一定的差距,但已经是目前最好的医疗大模型。
论文地址:
https://www.nature.com/articles/s41586-023-06291-2
- 几何朗兰兹猜想被解决!历时30年、证明论文达800余页,中国学者陈麟系主要作者2024-07-23
- 开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1,“新趋势已显而易见”2024-07-25
- GPT-4o mini登顶大模型竞技场,奥特曼:两个月内微调免费2024-07-24
- 英特尔CPU疯狂崩溃,测评大佬揭露工艺缺陷,官方回应:修复补丁下月上线2024-07-23