拿CPU搞AI推理,谁给你的底气?
CPU终于站C位了
金磊 梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
大模型的训练阶段我们选择GPU,但到了推理阶段,我们果断把CPU加到了菜单上。
量子位在近期与众多行业人士交流过程中发现,他们中有很多人纷纷开始传递出上述的这种观点。
无独有偶,Hugging Face在官方优化教程中,也有数篇文章剑指“如何用CPU高效推理大模型”:
而且细品教程内容后不难发现,这种用CPU加速推理的方法,所涵盖的不仅仅是大语言模型,更是涉猎到了图像、音频等形式的多模态大模型。
不仅如此,就连主流的框架和库,例如TensorFlow和PyTorch等,也一直在不断优化,提供针对CPU的优化、高效推理版本。
就这样,在GPU及其他专用加速芯片一统AI训练天下的时候,CPU在推理,包括大模型推理这件事上似乎辟出了一条“蹊径”,而且与之相关的讨论热度居然也逐渐高了起来。
至于为什么会出现这样的情况,与大模型的发展趋势可谓是紧密相关。
自从ChatGPT问世引爆了AIGC,国内外玩家先是以训练为主,呈现出一片好不热闹的百模大战;然而当训练阶段完毕,各大模型便纷纷踏至应用阶段。
就连英伟达在公布的最新季度财报中也表示,180亿美元数据中心收入,AI推理已占四成。
由此可见,推理逐渐成为大模型进程,尤其是落地进程中的主旋律。
为什么Pick CPU做推理?
要回答这个问题,我们不妨先从效果来倒推,看看已经部署了CPU来做AI推理的“玩家”用得如何。
有请两位重量级选手——京东云和英特尔。
今年,京东云推出了搭载第五代英特尔® 至强® 可扩展处理器的新一代服务器。
首先来看这款新服务器搭载的CPU。
若是用一句话来形容这个最新一代的英特尔® 至强® 可扩展处理器,或许就是AI味道越发得浓厚——
与使用相同内置AI加速技术(AMX,高级矩阵扩展)的前一代,也就是第四代至强® 可扩展处理器相比,它深度学习实时推理性能提升高达42%;与内置上一代AI加速技术(DL-Boost,深度学习加速)、隔辈儿的第三代至强® 可扩展处理器相比,AI推理性能更是最高提升至14倍。
到这里,我们就要详细说说英特尔® 至强® 内置AI加速器经历的两个阶段了:
第一阶段,针对矢量运算优化。
从2017年第一代至强® 可扩展处理器引入高级矢量扩展 512(英特尔® AVX-512)指令集开始,让矢量运算利用单条CPU指令就能执行多个数据运算。
再到第二代和第三代的矢量神经网络指令 (VNNI,是DL-Boost的核心),进一步把乘积累加运算的三条单独指令合并,进一步提升计算资源的利用率,同时更好地利用高速缓存,避免了潜在的带宽瓶颈。
第二阶段,也就是现阶段,针对矩阵运算优化。
所以从第四代至强® 可扩展处理器开始,内置AI加速技术的主角换成了英特尔® 高级矩阵扩展(英特尔® AMX)。它特别针对深度学习模型最常见的矩阵乘法运算优化,支持BF16(训练/推理)和INT8(推理)等常见数据类型。
英特尔® AMX主要由两个组件组成:专用的Tile寄存器存储大量数据,配合TMUL加速引擎执行矩阵乘法运算。有人把它比作内置在CPU里的Tensor Core,嗯,确实很形象。
这么一搞,它不仅做到在单个操作中计算更大的矩阵,还保证了可扩展性和可伸缩性。
英特尔® AMX在至强® CPU每个内核上并靠近系统内存,这样一来可减少数据传输延迟、提高数据传输带宽,实际使用上的复杂性也降低了。
例如现在若是将不超过200亿参数的模型“投喂”给第五代至强® 可扩展处理器,那么时延将低到不超过100毫秒!
其次再看新一代京东云服务器。
据介绍,京东与英特尔联合定制优化的第五代英特尔® 至强® 可扩展处理器的Llama2-13B推理性能(Token 生成速度)提升了 51%,足以满足问答、客服和文档总结等多种AI场景的需求场景。
△ Llama2-13B推理性能测试数据
对于更高参数模型,甚至是70B Llama2, 第五代英特尔® 至强® 可扩展处理器仍可胜任胜任。
由此可见,CPU内置AI加速器发展到现在,用于推理已能保证在性能上足够应对实战需求了。
像这样建立在通用服务器基础上的AI加速方案,除了可用于模型推理之外,还能灵活满足数据分析、机器学习等应用的需求,夸张点说,一个服务器就能完成AI应用的平台化和全流程支持。
不仅如此,用CPU做AI推理,也存在CPU与生俱来的优势,例如成本,还有更为重要的——部署和实践的效率。
因为它本身就是计算机的标准组件,几乎所有的服务器和计算机都配备了CPU,传统业务中也已然存在大量的基于CPU的现成应用。
这意味着选择CPU进行推理,既容易获取,也不需要导入异构硬件平台的设计或具备相关的人才储备,还更容易获得技术支持和维护。
以医疗行业为例,过去CPU已广泛用于电子病历系统、医院资源规划系统等,培养出成熟的技术团队,也建立了完善的采购流程。
以此为基础,医疗信息化龙头企业卫宁健康,就利用CPU构建了能够高效、低成本部署和应用的WiNEX Copilot落地方案,这个方案已深度集成到卫宁新一代的WiNEX产品中,任何一家已采用该系统的医院,都能迅速上岗这种“医生AI助手”。
仅其一项病历文书助手功能,就可以在8小时内,也就是在医生下班后的时间里处理近6000份病历,相当于三甲医院12位医生一天工作量的总和!
而且也正如我们刚才所提到的,从Hugging Face所提供的优化教程来看,只需要简单的几步,就可以让CPU快速部署用于高效推理。
优化简单、上手快,便是CPU真正在AI应用落地过程中的又双叒一个优势了。
这意味着任何或大或小的场景中,只要基于CPU的优化实现了一个单点的成功突破,那么它很快就可以实现精准且快速的复制或扩展,结果就是:能让更多用户能在相同或相近的场景中,以更快的速度、更优的成本把AI应用落到实地。
毕竟英特尔不仅是一家硬件公司,同时也拥有着庞大的软件团队。在传统深度学习时代就积累了大量优化方法和工具,如OpenVINO™ 工具包就在工业、零售等行业广泛应用。
到了大模型时代,英特尔也深入与主流大模型如Llama 2、Baichuan、Qwen等深度合作,以英特尔® Extension for Transformer工具包为例,它就能让大模型推理性能加速达40倍。
加之现在大模型所呈现的明显趋势就是越发地开始卷应用,如何能让层出不穷的新应用“快好省”地落下去、用起来成了关键中的关键。
因此,为什么越来越多的人会选择CPU做AI推理,也就不难理解了。
或许,我们还可以再引用一下英特尔CEO帕特·基辛格2023年底接受媒体访问时所说的话,来巩固一下各位的印象:
“从经济学的角度看推理应用的话,我不会打造一个需要花费四万美元的全是H100的后台环境,因为它耗电太多,并且需要构建新的管理和安全模型,以及新的IT基础设施。”
“如果我能在标准版的英特尔芯片上运行这些模型,就不会出现这些问题。”
AI Everywhere
回看2023年,大模型本身是AI圈绝对的话题中心。
但2024年刚开始,明显能感觉到的趋势就是各类技术进展,各行业应用落地进展都在加快,呈现一种“多点开花”的局面。
在这种局面下,可以预见的是还将有更多AI推理需求涌现,推理算力在整个AI算力需求中所占的比例只会增加。
比如以Sora为代表的AI视频生成,业内推测其训练算力需求其实比大模型少,但推理算力需求却是大模型的成百上千倍。
而AI视频应用落地需要的视频传输等其他加速优化,也是CPU的拿手好戏。
所以综合来看,CPU在整个英特尔AI Everywhere愿景下的定位也就明确了:
补足GPU或专用加速器覆盖不到或不足的地方,为更多样和复杂的场景提供灵活的算力选择,在强化通用计算的同时,成为AI普及的重要基础设施。
最后让我们打个小广告:为了科普CPU在AI推理新时代的玩法,量子位开设了《最“in”AI》专栏,将从技术科普、行业案例、实战优化等多个角度全面解读。
我们希望通过这个专栏,让更多的人了解CPU在AI推理加速,甚至是整个AI平台或全流程加速上的实践成果,重点就是如何更好地利用CPU来提升大模型应用的性能和效率。
这次我们以CPU内置的AI加速引擎为核心,介绍了CPU在AI推理中的应用价值与潜力。
而上一期,我们介绍了除直接加速AI推理之外,CPU身上还有哪些特性与能力,能让它成为AI应用落地或推理时代不可或缺的力量。
更多CPU支持AI推理解决方案内容,请点击下方链接获取。
https://www.intel.cn/content/www/cn/zh/events/accelerate-with-xeon.html?cid=soc&source=Wechat&article_id=5326#introtext_1036911030_818293015
参考链接:
[1]https://huggingface.co/docs/transformers/v4.34.0/en/perf_infer_cpu
[2]https://huggingface.co/docs/transformers/en/perf_infer_cpu
[3]https://mp.weixin.qq.com/s/85FopWzLOVi5a8x5AocYlw
[4]https://developer.aliyun.com/article/1424070?spm=5176.26934562.main.2.4a33333aPN4UBS
- 腾讯发最大开源MoE模型,3890亿参数免费可商用,跑分超Llama3.12024-11-06
- Llama版o1来了,来自上海AI Lab,强化学习代码已开源,基于AlphaGo Zero范式2024-11-05
- 慢思考准确率反降30%!普林斯顿揭示思维链某些任务上失效的秘密2024-11-04
- 帮了一把南美农民的拼多多,联合国粮农组织都点赞了2024-10-31