百度发布「AI大底座」:一口气把10年AI技术积累打包了
行业首个全栈自研智算基础设施
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
技术创新的节点性时刻,往往是以基建变革的形式展现。
现在,中国AI头号玩家百度,再次明确复现了这一规律:
AI大底座,已正式对外推出。
就在刚刚结束的百度AI开发者大会上,李彦宏判断,深度学习算法是第四次科技革命的标志。
并且“创新驱动增长,反馈驱动创新”,这种技术力量向产业蔓延的过程中,真正的应用创新要靠在产业实际应用中的“反馈”才能实现。
△百度创始人、董事长兼首席执行官李彦宏
而集百度AI能力之大成的AI大底座,正是百度交出的答卷。
什么是AI大底座?
可以这样理解:这一基础设施涵盖从芯片、框架,到大模型、应用的AI发展全要素。等于是把大数据、大算力、大模型集结到了同一个体系结构当中。
相比于传统云服务,可以说是全面“AI化”,把计算跟智能更紧密地绑定在了一起。
百度此举,如何解读?又具体印证了怎样的技术大势?
我们照例一层层拆解来看。
AI大底座如何构成?
还是先来看看AI大底座的完整构成。
具体分为两层:
- 基础架构AI IaaS层:最核心的组成部分是提供AI算力支持的芯片。在百度AI大底座中,核心芯片包括百度自研的AI芯片昆仑芯,以及太行DPU等。
- 应用平台AI PaaS层:整合百度AI两大王牌飞桨深度学习框架和百度文心大模型,能够实现从数据存储,到AI模型训练、生产、部署、测试的全链路、批量化生产。
从架构上来看,AI大底座既在底层的AI计算、存储、加速、容器方面进行了系统优化和产品自研,也在更高层的AI开发、模型供给能力方面,释出了百度长期积累的AI技术优势。
更值得关注的是,由于百度在全要素上都实现了核心产品自研,集大成的AI大底座各层之间深度耦合,使得端到端的整合优化成为可能。
基于这样的架构,AI应用开发的模式不再是手工作坊式的“一项目一训练”,需要耗费大量数据标注成本和人工调优成本,而是更像流水线工厂:
AI底层技术被抽象出来,形成了通用化、模块化的平台套件,企业只需要按照实际业务需求“搭积木”。
AI大底座有何用?
这样一种基础设施的形式,能带来什么新价值?
核心还是与产业升级最本质的需求有关,即降本增效。
结合实际案例来看。理想汽车和百度智能云合作,基于百度AI大底座,构建了用于自动驾驶研发的“理想汽车智能云”。
理想的需求在于,随着自动驾驶研发的深入,其所面对的业务场景越来越庞大、复杂;并且随着智能汽车出货量越来越多,很多车载数据要回传进一步再训练,其中涉及到复杂的AI开发应用环节,对算力、模型泛化能力的要求也很高。
于是,百度AI大底座一方面为其提供了完整的开发应用工具链,涵盖数据采集标注、数据闭环、模型开发、云仿真等AI开发环节,让理想可以不用花费额外的时间精力,考虑资源调度、训练性能、模型部署验证等问题。
另一方面,在百度AI大底座的体系之中,应用落地过程中出现的模型效果问题,能够在深度学习框架的支持之下,快速驱动迭代新的模型结构;同时当上层应用对底层芯片算力提出新的要求,也能够迅速得到反馈调整。
通过这样端到端的优化,AI大底座使自动驾驶常用的算子训练和推理速度平均提升了100%,同时使研发迭代效率提升了100%。
从这个案例中可以看出,企业做智能化、做AI开发的核心痛点包括两方面:
- 其一,基础设施构建需要花费大量时间精力。尤其在智能计算占比加重的情况下,芯片、框架、模型、应用各个环节,都需要大规模投入和长期技术积累。
- 其二,所构建的基础设施如果不能从底层硬件到上层应用深度耦合,就会影响AI开发的实际效率和迭代速度。
而AI大底座作为一个全栈融合的智算基础设施,凭借其全要素、端到端优化的特点,在满足产业对基础设施的最新需求的同时,恰恰能解决智能化过程中资源效能和模型效能的瓶颈问题。
此外,上层文心大模型的引入,还驱动AI大底座形成了平台化的反馈闭环机制。
简单来说,就是产业应用中产生的新知识和经验,还能不断被用来再训练大模型,让AI实现“自我升级”,以适应不同的业务环境。
国网福建,就已受益于这一机制。
为了解决复杂自然环境中的设备巡检等业务问题,国网福建同样选择了智能化升级。
他们遇到的一个问题是,虽然摄像头、无人机等设备可以充当巡检人员的“眼睛”,替人进入到复杂、危险环境中回传数据,再靠AI来辅助判断安全隐患、瑕疵点。但实际上,自然界的阳光、云彩、光线、植被,任何一点变化都可能给数据带来新的噪音,影响模型的准确率。
另外,国网是一个大集团,底下各个分公司面对的自然环境都不一样,因此通用模型落实到本地,效果往往不尽如人意。
国网福建的最新解决方案,是依托于百度AI大底座,打造了一个电力大模型。
这个电力大模型每到一处,通过吸收少量当地样本信息进行微调,就能快速适应当地需求。同时,微调的过程又会被反馈到通用大模型本体当中,进一步加强通用大模型的泛化能力。
数据显示,这种AI自我升级能力的引入,使得电网巡检场景中安全隐患识别率提升了30%,识别效率提升了5倍。
AI大底座,为什么是现在?
简单总结起来,百度AI大底座,从技术的角度来看,就是百度AI技术的集大成者。从产业价值的角度来看,则是以集中力量办大事的方式,解决了产业升级当前面临的痛点问题。
但,为什么是现在?
当ChatGPT为首的一众大模型,在2022年里掀起一波又一波AIGC的狂欢。
在更靠近实际应用的产业侧,新一轮技术冲击也正在引爆各行各业对AI应用的需求增长。
无论是理想的案例,还是国家电网的案例,本质上看,这一轮基础设施之变,实际上就是围绕智能之变。
这一点,在数据上亦有反馈。IDC最新报告就预测,2022年,中国AI公有云服务市场规模将达到74.6亿人民币。相较于2021年的44.1亿元人民币,增长了近41%。
所以,为什么百度选择在此时推出AI大底座,第一重答案,就是时代所需,大势所至。
如果说基础云计算,加速了企业数据、业务电子化、数字化的进程,那么当AI开始更深层次地被嵌入到企业发展的链路之中,新一代AI基础设施的推出就变得势在必行。
百度集团副总裁侯震宇也坦承:
AI大底座正是应经济加速智能化的大潮流而生。
△百度集团副总裁侯震宇
而尽管在通用云产品上,百度智能云更多扮演的是“追赶者”的角色,但其与AI的渊源,却是时间跨度最长的。
有不少行业分析认为,百度智能云从诞生起就是百度AI技术的输出窗口,可以说从出生起就是一朵打着AI标签的云。
这就是第二重答案:在AI+Cloud这一方向上,百度具有“人无我有”的技术优势和经验积累。
AI领域出身的玩家,在底层芯片和系统能力上往往欠缺经验。而有着深厚底层设施基础的厂商,在上层AI软件能力上,又缺少丰富的落地案例积累。
从这个层面上来说,在芯片、深度学习框架、大模型、产业应用各个环节都有自研基础,且已积累丰富落地经验的,百度算得上是独一家:
芯片方面,2011年,百度就启动了自研FPGA AI加速器项目。2017年,已经有超过1.2万片FPGA在百度业务体系中被部署。
2018年,百度更是发布了自主研发的AI芯片昆仑芯。2020年,第一代昆仑芯开始大规模部署。目前,这颗芯片已经落地超过2万片,并且被广泛应用在百度搜索和自动驾驶等领域,同时服务 50 多家外部客户,是国内为数不多真正经受过大规模算法考验的芯片。
框架方面,百度飞桨是国内最早启动研发的自研深度学习框架。2016年开源至今,已凝聚406万开发者,服务过15.7万企事业单位,开发模型达47.6万个。
根据IDC报告,截至2021年上半年,TensorFLow、PyTorch以及百度飞桨成为国内最高频使用的开源框架。
大模型方面,百度文心大模型是基于百度逾10年的AI技术积累,和20年来产品业务沉淀下的用户真实需求打造。从2019年ERNIE 1.0发布算起,文心大模型在公开权威语义评测中已斩获十余项世界冠军。
基于文心大模型,百度目前已发布11个行业大模型,大模型总量达36个,已构成业界规模最大的产业大模型体系。目前已大规模应用于搜索、信息流等互联网产品,并在工业、能源、金融、汽车、通信、媒体、教育等各行业落地应用。
这些技术布局,往往始于技术微末之时,甚至被冠以“烧钱”的字眼。
但也正是十年饮冰的坚持投入,使得百度AI大底座成为了行业内首个全栈自研的智算基础设施。
又正是长期技术积累带来的全栈自研能力,给行业和百度本身,都带来了更深远的影响。
对于行业而言,一个全要素、端到端的基础设施,实际是在AI应用密度越来越高、需求计算量越来越大的情况下,把高门槛技术以低门槛方式输出实现,同时还使得更高性价比成为可能。
用百度自己的话说,是:
别人用100张卡来做的事,我们用五六十张就能解决。
百度AI大底座可提升千卡并行加速比至90%以上,训练场景资源利用率70%以上,模型开发迭代效率提升100%以上。
这一点,还更为具象化地体现在了百度首次对外开放的阳泉智算中心上。
这一智算中心是目前已建成的亚洲最大单体智算中心,具备4EFLOPS的算力,千卡加速比达到90%,异构资源利用率超过70%。
在绿色节能方面,其PUE值(电能使用效率)低至1.08。这意味着百度一家企业一年节省的电量等于德国一个中型城市全年用电量。因节能而节省的成本,随着智算中心的对外开放,也将投射到客户的成本节约上。
注:PUE=数据中心总能耗/IT设备能耗,越接近1表明能效水平越好。
这也就意味着,未来能参与到智能化升级进程中的企业,将不止于实力更为强劲的产业头部企业,更多中小企业亦将为前沿科技所辐射。
而对于百度而言,自主可控本身亦是更深层次社会价值的体现。
技术的创新,驱动着基建的变革,又通过新一代基础设施的种种特征,更为清晰地被标注在产业应用之中,切切实实地影响着产业智能化转型的节奏和发展速度。
背后科技自立的价值,不言而喻。
是以,时候到了。
△百度集团执行副总裁、百度智能云事业群总裁沈抖
并且就如百度集团执行副总裁、百度智能云事业群总裁沈抖所分享的那样:
智能化为行业创造价值的浪潮才刚刚开始。
— 完 —
- o1满血版泄露!奥数题图片推理手拿把掐,奥特曼上线剧透o22024-11-03
- 科研版AI搜索来了!知乎直答接入正版论文库,一手实测在此2024-11-01
- 微软清华改进Transformer:用降噪耳机原理升级注意力,一作在线答疑2024-11-03
- 全国第二!智平方荣获第十三届全国创新创业大赛初创型企业全国总决赛第二名(新一代信息技术赛道)2024-11-03