AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

CPU,大模型的另一种解法

金磊 明敏 发自 凹非寺

量子位 | 公众号 QbitAI

当大模型踏入医疗行业与人类医生一较高下时,它能达到什么水平?

就在最近,医学顶刊BMJ便给出了这样一个结论:

在遵循公认的临床抑郁症治疗标准方面,先进大模型可能比医生要强

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

从研究结果上来看,大语言模型(LLM)在轻度和重度抑郁症治疗方面,已经达到了公认的治疗标准。

不仅如此,它们还不会被患者的外在因素所影响(包括性别、社会阶层等等),这就比人类初级医生还要强上一点了。

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

这是否就意味着类LLM选手们现在可以“持证上岗”了呢?

非也,非也。

考虑到抑郁症治疗的持续性和患者病情的多样性,这项研究认为,真正的治疗过程还是需要人类医生来进行。

不过研究同样指出,LLM对于现阶段医疗可以起到辅助决策的帮助:

有可能加强初级卫生保健的决策,提高精神卫生服务的质量和公正性。

毕竟自从LLM热潮以来,包括谷歌在内的众多AI玩家,都致力于推动其在医学领域中的作用。

甚至像“男孩阅医无数,最后竟被AI成功诊出病因”这样的新闻也是频频被曝出。

那么问题来了——LLM在现实中的医疗领域,到底走到了哪一步?

LLM,已然深扎医疗

一直以来,医疗行业都被视为AI落地的重要领域。

在深度学习浪潮刚刚兴起之时,深度学习三巨头之一Hinton就说出了名言:

5年内AI可以取代放射科医生。

尽管这个表达有些激进,但它揭露了一个事实,至少在科研层面,AI和医疗的结合是非常被看好的。

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

在过去一段时间以来,AI医疗场景不断开拓,比如利用CV算法识别病灶、检测心电图等。科技巨头们都紧跟趋势,如微软、谷歌、IBM等都在持续投入资金,推进AI医疗落地。

尤其在ChatGPT趋势到来以后,LLM更强的学习能力、更好的迁移能力以及更深的理解能力,都为AI医疗落地打开新局面。

而且这会是一个很确定的趋势,因为技术、应用落地和行业发展都准备好了。

首先技术方面,今年是大模型爆发的一年,目前国内已经形成“百模大战”格局。

诸多大模型厂商都主打To B路线,正在加速推动大模型在各个行业的应用。还有一些厂商直接推出面向医疗的行业大模型,比如谷歌推出的Med-PaLM 2就已经在诊所实测。

所以对于医疗领域而言,当下是不缺“模”的。

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

其次,大模型和医疗领域也天生非常契合

在常见的问诊、病历生成、患者病史分析等场景,都需要医生基于历史信息进行整合总结、分析判断,这正是大模型的长项。

比如利用大模型的总结摘要能力,可以快速对多类数据进行总结并形成摘要,帮医生完成繁琐、重复性高的工作,提升效率。

并且实际落地上,只需以基座大模型为底,应用专业医疗数据训练,就能得到一个强大的医疗大模型,这能从根本上加速AI医疗落地。还能在一个系统中集成多个子模型,即可快速覆盖更多场景。

再来看行业发展方面,以国内情况为例,数字化医疗、AI医疗逐渐发展为一个独立赛道,玩家们利用数据分析自然语言处理(NLP)结构化数据等技术,已经成功将AI引入临床诊断决策、病例数据管理等。

如惠每科技开发的面向医院的核心应用Dr.Mayson

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

简单理解,这是一个能优化医院看诊、决策、预警、管理等方面的智能应用,核心目标就是让医院数字化系统运行更加丝滑流畅,提高医生诊疗效率。

它主要融入了PDCA过程管理和CDSS(临床决策支持系统)。利用机器学习、深度学习、大数据挖掘等技术,可以智能识别分析病历文书、LIS/RIS报告等患者完整病历数据;为医院构建专门的医学知识库;给医生、医技、护士、管理方提供实时智能参考与建议。

在惠每科技最新发布的CDSS 3.0架构中,新一代AI大数据处理平台已集成了医疗大模型,并已经在某合作医院的病历生成等场景中获得了医生的认可。

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

综上,医疗大模型应用落地路径已经比较明确。但是落地的过程却没有想象中的那般容易。

医疗大模型落地,怎么解?

医疗大模型落地目前遇到的两大核心问题,都非常具有原生性:

  • 为保证患者数据安全,医院数据仅能内网使用
  • 当前GPU算力紧张,医院很难负担如此高昂的采购成本

这意味着,医疗大模型需要进行私有化部署,且需要寻找一条能够针对于提升大模型算力的“性价比”道路。

所以,AI加速成为了近来业界备受关注的领域。它直接关乎大模型落地的效率和成本,行业内各大厂商的加速方案也都受到热捧。

比如刚刚提到的惠每科技便携手英特尔,在基于第四代英特尔® 至强® 可扩展处理器的基础设施上,打造了量化和非量化两种大模型推理加速方案

如何实现?

先来看量化部分,也就是通过降低模型精度来实现加速。

以FP32量化到INT8为例,它能让GPU或CPU适应更快、更低成本的8位张量来计算卷积和矩阵乘法,可有效提高计算吞吐量。还能减少模型数据搬运所需的时间和资源,这是数据从内存移动到计算单元的必然消耗,精度从32位降低到8位,能实现4倍减少量。

同时量化也能减少内存的使用,让模型需要更少的存储空间、参数更小、缓存利用率更高。

具体实现方案上,惠每科技引入了英特尔开发和开源的BigDL-LLM大语言模型加速库,其提供对各种低精度数据格式的支持与优化,同时配合不同型号和代际的英特尔处理器内置指令集(如英特尔® AVX-512_VNNI、英特尔® AMX等)在大模型应用中可以实现较优推理加速。

使用方面,此方案提供了便捷命令和编程接口两种方法,能方便预览量化后模型性能是否符合预期;另外在性能达标的情况下,凭借BigDL-LLM提供的HuggingFace API/Langchain API,用户可以轻松将优化性能整合到部署推理服务中去。

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

△BigDL-LLM为医疗大模型提供推理加速

对于非量化技术路径,英特尔也能提供键值(KV)缓存、算子融合的OpenVINO™ 加速方案。

KV缓存用于通过键值对的方式存储数据,能加速和优化数据访问。算子融合是将神经网络中多个连续运算符融合成一个运算符,从而减少内存访问、提高计算效率。

在惠每科技主要使用的开源基座大模型ChatGLM上,基于英特尔® OpenVINO™ 工具套件打造的非量化方案能利用零拷贝(Zero-Copy)视图传递预分配的KV所需的内存副本空间,避免数据的多次拷贝,实现KV缓存加速;

也能引入第四代英特尔® 至强® 可扩展处理器内置的英特尔® AMX指令集,帮助ChatGLM等医疗大模型加速BF16/INT8计算,实现算子融合,在保证精度的前提下提升运算效率、加速推理;

同时OpenVINO™ 工具套件提供了在HuggingFace上的Optimum接口,让优化效果可扩展到更多医疗大模型推理应用中。

总结来看,英特尔与惠每科技联手打造的两个大模型加速方案,成功帮助医疗机构用较低成本部署了高质量大语言模型,并且为更多准备“入局”的同行们提供了一套完整教程。

更关键的是,本次合作也让我们看到了一个事实:大模型训练推理并非唯GPU一种解法,CPU也可以作为大模型在行业落地的平台。

CPU,大模型的另一种解法

或许很多人一提到大模型,刻板印象往往会是“堆GPU”。

但事实上,英特尔在通过自身的实践在证明——CPU,亦是一种解法。

例如在我们耳熟能详且经典的OCR(光学字符识别)领域,在英特尔第四代至强® ️可扩展处理器的加持之下,响应延时指标在原有基础上足足提升达25倍!

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

△数据来源:英特尔合作伙伴

再比如媒体娱乐场景中,尤其在AMX加速引擎加持下,英特尔能帮助个性化内容推荐速度提升达6.3倍;零售行业里,能将视频分析速度提升高达2.3倍,还有像工业缺陷检测、医疗服务也都能从容应对。

即便是在生命科学和医药等前沿探索领域,CPU也已经成为不容忽视的存在:甚至在某些场景下的表现效果比GPU还要好。

而这些案例,也只是英特尔CPU在大模型时代表现中的一隅;更重要的应当是英特尔在过去一段时间和未来,所坚持的 “走法”:不仅重视硬件产品性能的提升,对于软件优化和打造生态系统同样付出大量心血,给用户提供全流程支持。

这也是为什么在今年的Intel Innovation 2023上,英特尔敢于喊出“AI everywhere(让AI无处不在)”的口号;为什么在12月中旬即将发布的新一代至强® 可扩展处理器、产品和加速方案,充斥着“AI”和“大模型”的味道。

总而言之,CPU巨头英特尔,在大模型时代之下确实在开辟着与众不同的路数。

至于新一代至强® 可扩展处理器和其他产品又会给大模型带来怎样的性能提高,也是值得期待一波的。

版权所有,未经授权不得以任何形式转载及使用,违者必究。