第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型!AutoML 2.0亮相

雷刚 发自 凹非寺

量子位 报道 | 公众号 QbitAI

传统企业AI转型,痛点是什么,难点在哪里?

第四范式刚围绕这一话题给出最新实践认知和解决方案。

这家明星独角兽公司推出企业级 AI 软硬一体集成系统——SageOne,分享“软件定义AI算力”的思路,以及企业AI转型的“1+N”战略方法。

详情如何,我们一一分解:

第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型

AI算力不靠堆硬件

第四范式年度发布会,推出的新品是企业级 AI 软硬一体集成系统——SageOne,核心是摒弃了传统算力堆砌硬件的方式,而采用由软件定义的专用AI系统架构,更好的理解AI 算法的运算架构与逻辑,更深层次软硬件一体化的优化和加速,全面满足企业AI应用的算力需求。

第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型

第四范式联合创始人、首席架构师胡时伟说:

传统算力和AI应用负载之间存在天然的鸿沟,传统算力只是解决在计算、访存、I/O带宽的局部密集问题,而AI应用负载则需要解决全部密集的问题。发展企业级AI专用算力已经成为行业的普遍共识和大势所趋。

但当前挑战,解决企业AI应用算力负载问题,单靠增加硬件是无法完成的。只有通过AI算法对整个AI算力平台系统的重新定义,才能最大化解决问题。

所以新品SageOne中,先看软件引擎。

内置了第四范式领先的自研AI训练引擎、AI推理引擎和AI特征存储引擎三大核心引擎。

通过业界领先的“软件定义计算”软硬一体技术构建闭环企业AI系统,贯通硬件基础设施、AI核心引擎、AI平台和AI业务应用的全价值链条。

那算法软件如何定义算力需求?

第四范式的方案是以高维算法为基础,搭载第四范自主研发的硬件加速卡——4Paradigm ATX800,内置模型训练和特征工程等多种加速能力。

并且支持自动优化训练超参数、高位特征计算过程I/O加速和高维GBDT训练加速等应用,在企业应用场景中表现出高达10倍的训练性能。

第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型

具体表现上,SageOne内置第四范式自主研发的高维、分布式网络通讯协议Swift,集成pPRC自研网络通信框架、零拷贝数据交换协议等AI领先通讯技术,结合基于CLX-AP架构的参数服务器集群,展现出业界顶级机器学习性能表现。

SageOne在高维特征计算过程I/O最大10X加速,高维稀疏场景模型训练比GPU提速5X以上,自研pRPC通信框架比百度bRPC和谷歌gRPC提速3-10X。

此外,内置行业领先的自研实时特征计算引擎和模型预估引擎,SageOne为企业AI应用提供特征处理过程免开发上线、线下线上一致性保证、一键生成预估服务、异构模型统一服务等AI核心应用服务,结合非易失性存储的无限缓存和超低延迟内存存储等硬件技术,确保企业AI应用时具备海量量时序特征计算和万亿维模型实时推理能力的同时,提供百万级并发实时请求支持和99.9%请求毫秒级响应的高并发业务极速响应服务。

值得一提的是,第四范式和英特尔联合实验室一直探索最佳优化技术,并针对最新Cascade Lake-AP处理器的全新AVX512指令集、多核心及主频利用率和CLX AP微架构IO总线的利用率进行全面优化。

AutoML 2.0

当然,作为国内AutoML的力推者,第四范式也在此次推出了AutoML 2.0.

AutoML 2.0不仅是世界首个交互式AutoML技术,同时具备自动跨表特征增强能力。

在世界知名的Kaggle机器学习竞赛中,第四范式AutoML 2.0与数据科学家共同挑战多项竞赛,竞赛结果数据显示全世界平均每7-10位数据科学竞赛选手,只有1位能击败第四范式AutoML 2.0;而在结构化机器学习问题上第四范式AutoML 2.0比Google Cloud AutoML排名靠前61.2%,在图像分类问题上比它排名靠前64.2%。

第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型

第四范式联合创始人陈雨强介绍,AI应用规模化的前提是低门槛、自动化的AI技术,其中,关键性技术是AutoML。

而且基于目前企业AI应用的痛点问题,第四范式未来还将引入隐私保护迁移学习(AutoPTL)、自动半监督机器学习(AutoSSL)、自动正样本和无标签样本学习(AutoPU)、自动知识图谱嵌入(AutoKGE) 等众多Auto“黑科技”到产品体系中,提高企业AI应用率和价值。

第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型

AI转型“1+N”战略

最后,无论是新产品SageOne,还是AutoML 2.0,都是第四范式探索企业AI转型实践中总结的“1+N”战略的落地产品。

第四范式创始人戴文渊说,在帮助企业转型及应用AI的过程中,第四范式总结出企业AI转型的“1+N”战略方法。

“1”是指利用AI达到极致效果,在自己的核心业务上建立绝对优势。

“N”是借力科技创新带来的基础设施成本的降低,规模化的落地于更多业务场景,提升整体经营效率。

企业的核心业务通常有1或数个,在实际经营中,核心业务创造的营收占比可达80%甚至更多,因而1%的提升就足以改变企业竞争格局。

以互联网应用为例,“千人千面”的个性化服务就是AI化的结果,最终,用户活跃度有多少提升,有多少转化均取决于“千人千面”的程度与效果。

而对于以“供应链”为核心的零售及制造业,其竞争力取决于AI能在多大程度上提升供应链效率,降低成本。

面对核心业务,AI须做到极致效果,“毕其功于一役。”

N则是指企业在全面AI改造过程中,面对成百上千个分散场景时,如果每个都做到极致,投入产出比低,因而需要规模化、高效的AI落地能力。

假设一个企业有一千个场景,其中一个场景提升10倍,对整个企业来说,只有百分之一的提升。

而如果能高效地完成一千个场景的全面覆盖,即使每个场景只提升1倍,那也百分之百的提升。

所以面对场景众多的企业,AI的“规模化落地”能力会是企业全面智能化转型的关键。

第四范式软硬一体系统发布:AI算力不靠堆硬件,主打传统企业转型

One more thing

最后,对于这家低调的AI技术公司,或许为啥取名“第四范式”,不是人人皆知。

这次发布会演讲开头,戴文渊分享了渊源掌故:

1998年图灵奖获得者Jim Gray在2005年,他生前的最后一次演讲时,将人类科学研究的发展分成四个阶段,每个阶段是一个范式。

第一个范式是人类记录和描述自然现象,比如钻木取火,磨擦取电。

几百年后人类进入到第二个阶段,人类靠记录的现象和经验总结出规律,比如说我们熟知的牛顿三定律和麦克斯韦方程等的理论科学,于是人类进入到理论科学时代。

最近几十年,计算机科学发展到第三代。

很重要的一点是会进入第四范式阶段,计算机不再是模拟,是要从数据里面发现规律,这是最大的一个分析。

我们认为第四范式阶段最重要的一个变化是什么?

第四范式时代我们认为最重要的特点,首先科学规律的数量将会井喷,和过去相比牛顿总结三个,爱因斯坦总结四个,这是人的规律时代。

计算机以超强的计算能力,能总结出远远多于我们过去的数量级规律。

过去我们认为物理是科学,化学是科学,我们的科学行业是有限的。

为什么是有限的?是因为科学家数量有限,有的行业可能没有科学家,可能是一个经验科学。但是当我们的计算机可以做科学的时候,科学的时代就到来了。

今天第四范式希望能够把第四代范式的理念推广,我们也在帮助各个不同的行业进入到第四范式时代。

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态

版权所有,未经授权不得以任何形式转载及使用,违者必究。