AI的下半场怎么走,这朵云知道

AI行业已进入算法算力双核心时代

鱼羊 晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
今年都在说AI技术落地。AI到底有没有真正落地?可能得真实数字说了才算。
IDC今年7月发布的一份报告显示,2018至2024年,中国AI云服务市场年复合增长率将达到93.6%。
当然,高增速也不一定是真正的行业繁荣,行业的结构变化更能说明天平倾斜的方向。
阿里云最近有一组数字值得玩味:四年前,云上的训练任务占比超过80%;而如今,推理任务所占算力比重已经基本过半。

阿里云透露,这背后主要是因为4年以来,AI行业悄然发生的变化:云端进行推理的需求,比训练需求的增长要快得多。占比过半标志推理将是未来更为主流的云上AI计算需求,也说明AI行业已经从创业和从研发和创业为主,真正走向落地。
为什么这么说?
阿里云异构计算研发总监龙欣解释, 训练是更偏后端研发的阶段。而推理更多是把成熟的产品推广到市场上规模化应用,从这个角度来看,算力是处于训练还是处于推理,其实就能判断这个产品在AI上的技术是否开始了大规模落地。
而阿里云还透露了一组数字,最初云端GPU上线时,只有少数几家互联网企业和人工智能技术创业公司,租用算力来验证自己的商业模式和业务探索;现在AI用户已覆盖智能智造、医疗、教育等数十个行业。
例如,今年的疫情让在线教育等行业迅速增长。阿里云透露,在线教育是过去一年里对异构计算需求增长最迅速的行业,已经增长了近200%。这也侧面反映了这个行业AI应用的快速落地。
“实际上,AI已经进入到了下半场。推理业务的多样化也带来了异构场景和器件的多样化,云游戏、5G都是现在非常受关注的赛道。”龙欣表示,云上异构计算也在支撑更多的新兴赛道。
AI技术已经到了不是少数人少数企业的“自嗨”,开始走向传统行业,全面开花。
总而言之,AI已经从重训练的研发阶段,进入训练推理并重的落地阶段,而且应用面越来越广。
从算法到“算法+算力”
以深度学习为代表的AI技术飞速发展,对于算力的需求也在暴增。OpenAI的年度报告显示,从AlexNet到AlphaGo Zero,短短6年时间里,最先进AI模型算力需求增长了30万倍。

算法固然是提升AI技术的核心,但是想要AI快速落地,最“简单粗暴”的办法就是叠加算力。今年出现的超大自然语言模型GPT-3就是典型的例子。
另一方面,更偏研发行为的训练阶段,对算力的需求是有天花板的,与具体业务规模不直接关联。而如今AI产品的落地,意味着随着前端用户规模的扩大,对应推理业务模型对算力的需求是会呈现线性甚至爆发式增长的。比如,阿里云曾经在数天内为一款爆款AI产品“弹出”了数万片云上GPU,抓住了涌入的用户。
“巧妇难为无米之炊”,掌握算力资源的AI基础设施成为AI从概念到落地的重要支撑。
AI已经从以单一的算法为核心逐渐演变为算法、算力双核心。
云,无疑是获取算力最便捷与灵活的方式。通过云,企业可以随时获得充足的云端AI算力。
作为基础设施提供商的云计算,为满足行业发展,堆硬件是必经之路,但提供AI算力并不等同于单纯堆硬件,如果没有全面的软硬件技术,只会得到1+1<2的效果。
如何调度这些资源,解决用户在使用时的性能损失,是云计算厂商必须考虑的问题。
云异构计算的三个阶段
这就要从云上AI基础设施的发展阶段说起。
云上异构计算作为最能发挥AI效率的计算方式,其发展可以分为三个阶段: 第一个阶段,是异构计算需求的从0到1
在2013年AlexNet依靠GPU达到80%准确率,展现了GPU在AI算力提供上的能力这给业界开辟了一条新路。淘宝拍立淘、新浪微博等等,就开始尝试利用GPU来开发机器学习产品。2016年,阿里云迈出了第一步:启动异构计算业务,主要是服务了第一批寻求AI创新的客户的需求。在这个阶段,主要解决了企业对异构算力的从有到无。

第二个阶段,是规模化
在2016年AlphaGo大放异彩之后,深度学习等AI技术开始从实验室走向工业界。随着大量互联网企业开始对人工智能算法研发进行重点投入,AI算力的瓶颈也日益凸显。
大量模型训练的需求,以及对大算力需求的不断增长,推动了规模化、强弹性、高性能的云上计算基础设施的落地。阿里云也开始规模化部署云上异构算力。 短短3年时间,阿里云已经拥有超大规模的云上异构计算集群,每秒能支撑100亿亿次的异构运算,相当于在1秒内看懂超过5.3亿张图片、翻译4千万句话、识别9.2万小时长的语音。
而正如前文所说,2020年,人工智能行业的拐点已经到来,AI真正从研发和创业,走向了落地实践。这也就驱动着异构计算产品进入了第三阶段。
第三阶段的特征,是精细化多样化
当AI从研发走向落地,训练场景就将面临更为复杂多样的业务,对于企业客户而言,上云的需求也就从大算力,聚焦到了降低推理成本和极速部署等方面,同时场景也更为多样。
不难看出,这三个阶段的变化,是技术进步和行业发展共同促进的结果。

而第二阶段构建面向大计算的基础设施,可以说是所有云厂商的必经之路,也仍然是目前许多厂商的竞争重点。
但在基础设施之上,如何让客户能进一步快速调用资源,在AI落地的过程中进一步降本增效?
作为中国云计算市场份额最高的云服务商,阿里云已经率先迈出了这一步,给出的答案是——
软硬一体
软硬一体,在2017年就已成为头部云服务厂商的共识。 为了云计算的一大顽疾——通过虚拟机搭建云的过程中,虚拟化带来的性能损耗问题,2017年9月,阿里云推出第一代神龙架构,在整个行业中首次以软硬结合的设计方式实现了性能的0损耗。而大洋彼岸的AWS也同样在2017年底推出了类似产品AWS Nitro架构。
在此基础之上,现在,阿里云异构计算针对垂直行业,进一步提供了让云上资源变得更高效、更易用的软件工具。
比如针对人工智能行业的神龙AI加速引擎(AIACC)。
在大规模深度学习场景中,大规模GPU资源不仅导致了高运维成本,随着机器数的增加,不同机器GPU之间的配合难度也会变大,导致单张GPU卡的利用率反而下降。AIACC则可以通过对通讯、带宽等进行深度优化,提升资源协作效率和利用率
在AIACC的加持之下,今年3月,阿里云获得了斯坦福大学DAWNBench ImageNet四个榜单的世界第一。

根据已经落地的实际案例,AIACC可以帮助客户在云上训练场景下,提升2倍到14倍的性能;在推理场景下,提升2倍到6倍的性能。 AI芯片领域的独角兽地平线,与阿里云AIACC团队紧密合作,将基于阿里云异构计算的分布式训练性能提升4倍,让地平线算法研发效率得以显著的提升,成本得以大幅下降。
阿里内部,以阿里云IoT的图像分类业务为例。AIACC团队和IoT智能业务研发团队合作,将大规模图像分类分布式训练性能提升5倍。
另一阿里异构独有的软件产品,便是分片cGPU容器技术,能让客户通过容器来调度底层GPU资源,以更细颗粒度调度使用GPU,提高GPU资源利用率,达到降本增效的目的。
阿里云异构计算产品负责人潘岳也进一步对量子位解释了“软硬一体”的必要性:
单纯从算力的角度来说,硬件相当修路时用到的水泥、石块这样的基础。但仅仅是基础的堆叠显然是不足以解决问题的。
硬件资源为底层的基础设施之上,需要将虚拟化这样的技术通过软件产品的形式迭代出来,去充分发挥底层硬件的能力,把相应的技术红利释放给客户。
算力池化
除了软硬一体,阿里云异构计算产品展现出来的另一个发展趋势,是算力池化,带来了对算力更加灵活的调度能力。
一直以来,用户在云上选择GPU算力的时候,都是受规格配比限制的,比如内存和GPU之间只有特定几个比例。可是每个AI推理模型之间需要的资源配比是千差万别的。
阿里云异构计算今年推出弹性加速计算实例EAIS,通过软件池化的方式,在国内云厂商中首次实现GPU、FPGA、NPU等异构加速器与CPU/内存的解耦。
EAIS为客户提供了一个异构算力池,用户可以将需要的GPU资源量搭配到任何一款阿里云ECS服务器中,根据不同应用需求灵活优化CPU/内存与GPU之间的比例,匹配适合的资源组合,在提升AI推理效率的同时大幅降低成本。
全面布局
AI下半场,它的基础设施需要更丰富和多样。
龙欣表示,推理面临的是非常复杂的业务场景,涉及到的技术很可能不只有AI。C端用户用到的一个功能,可能融合了音视频编解码和深度学习等多种技术。异构计算作为底层的基础设施,也需要覆盖多样化的需求。
阿里云异构计算虽然发轫于AI,但它面对的,早已不只AI。
阿里云异构计算产品加持的经典案例,早已不仅仅局限于AI领域。
阿里云异构GPU/FPGA服务器就重点支持了天猫双11晚会直播的实时视频转码,服务了4k、1080p、720p等各个分辨率的转码。
业内规模最大的单业务FPGA计算集群,为淘宝提供超过数百万QPS的图片转码处理能力。FPGA云服务器今年首次100%承担双十一淘宝图片流量,预计节省计算成本数亿元。
……
云异构计算的下一步
回顾国内云异构计算产品的发展历程,阿里云无疑是最早布局的云服务商。

据阿里巴巴集团研究员、阿里云弹性计算负责人张献涛介绍,阿里巴巴内部有丰富的业务,这些内部业务为阿里云的技术输出提供了最直观的行业洞察。而反过来,阿里云的技术积累又反哺了集团业务。
这就形成了一个良性的闭环,使得阿里云能够坚定地在云计算业务上进行前瞻性的布局。
那么,在第三阶段之后,云异构计算将向何处去,阿里云又是如何判断的呢?
阿里云异构计算产品负责人潘岳谈到,从产品的角度而言,未来云异构计算的发展,一定是一个生态化的过程。
一方面,是阿里云这样的底层基础设施,被行业ISV(独立软件开发商)、解决方案公司集成,赋能AI等领域的创新实践。
另一方面,是与英伟达这样的加速器厂商加强合作,进一步丰富加速器的硬件生态。
而站在技术角度,阿里云异构计算研发总监龙欣表示,接下来,单一加速器将不再能满足AI、视频编解码等诸多领域的业务需求,加速器硬件融合的趋势已经显现。
未来,异构计算在技术上有可能出现这样一次新的变革:通过软件池化解耦和硬件池化解耦,把多种加速器融合在一起,去满足AI等行业中业务落地阶段更广泛的加速需求。
这也将是阿里云下一阶段的重点探索方向。
并且,随着5G的布局,随着视频等可视化计算需求的增长,云异构计算不仅仅是在AI领域,也将在视频、云游戏等更多行业中扮演更加重要的角色。
版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关阅读