英特尔首款AI芯片终于发布:训练推理两用,历时4年花费5亿美元买来4家公司

训练芯片由台积电代工

边策 鱼羊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

历时4年,壕购4家创业公司,花费超过5亿美元,终于发布第一款AI芯片。

这就是芯片半导体巨头英特尔,今日搞出的大新闻。

该AI芯片取名Nervana神经网络处理器(NNP)。两个方向可用:NNP-T用于训练,NNP-I主打推理。

算力性能也有竞争力,但发布后惨遭网友神吐槽:分分钟搞出一个过时的芯片。

具体详情究竟如何?我们先看货、再评价。

英特尔首款AI芯片

神经网络训练处理器NNP-T中的“T”指Train,也就是说这款芯片用于AI推理,处理器代号为Spring Crest。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

训练机器学习模型是开发AI过程中计算量最大的部分,这部分包含大量的矩阵和矢量数学运算发生时,正是英特尔CPU能力欠缺的部分。

NNP-T将由英特尔的竞争对手台积电(TSMC)制造,采用16nm FF+工艺。

NNP-T有270万个16nm晶体管,硅片面积680平方毫米,60mmx60mm 2.5D封装,包含24个张量处理器组成的网格,核心频率最高可达1.1GHz,60MB片上存储器,4个8GB的HBM2-2000内存,它使用x16 PCIe 4接口,TDP为150~250W。

每个张量处理单元都有一个微控制器,用于指导是数学协处理器的运算,还可以通过定制的微控制器指令进行扩展。

NNP-T支持3大主流机器学习框架:TensorFlow、PyTorch、PaddlePaddle,还支持C++ 深度学习软件库、编译器nGraph。

在算力方面,英特尔表示,这款芯片最高可以达到每秒119万亿次操作(119TOPS),但是英特尔并未透露是在INT8还是INT4上的算力。作为对比,英伟达Tesla T4在INT8上算力为130TOPS,在INT4上为260TOPS。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

另一款是用于AI推理的芯片NNP-I,代号Spring Hill,它采用英特尔自己的10nm工艺,基于Ice Lake处理器。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

对于这款芯片,英特尔主打的是其能效比,在数据中心推理工作负载中,它的效率达4.8TOPs/W,功率范围可以在10W到50W之间。

NNP-I接口为PCIe 4 x4/x8,如果说NNP-T从外观上来看像显卡,那么NNP-I则像是一块SSD。NNP-I的特点是集成了12个推理计算引擎(ICE)。

ICE由深度学习计算网格、可编程矢量处理器、高带宽内存接口、超大本地缓存几个部分组成,支持FP16、INT8、INT 4/2/1。

在ResNet50上,NNP-I在10W的功率水平上每秒可以完成3600次推理,每瓦每秒可以处理360张图片。

针对主要数据中心推理工作负载,NNP-I能做到在很宽的功率范围内具有可扩展的性能、不影响能效比的高度可编程性,从而在单位功率上实现最佳性能。

NNP-I支持的深度学习软件有:ONNX,nGraph,OpenVINO,C++。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

NNP-T、NNP-I这两款芯片都是用于数据中心。

英特尔副总裁、AI事业部负责人Naveen Rao表示:

“数据中心和云计算需要访问高性能和可扩展的通用计算,以及复杂AI应用程序的专用加速。在未来的AI愿景中,需要采用从硬件到软件再到应用程序的整体方法。”

英特尔NNP的发布,意味着企业在谷歌、英伟达的硬件之外又有了新的选项,AI硬件行业的竞争越来越激烈。

从英特尔的官方数据来看,NNP-I在推理上的速度已经超过英伟达Tesla P4的水平,虽然和V100仍有差距,但是已经缩小到50%以内,而不再是数量级上的差距。

不仅为了在硬件上取得突破,英特尔收购Nervana还有软件上的考量,Nervana这家公司有深度学习模型的Python软件Neon,还有一个全栈的AI云端平台Nervana Cloud。

多年积累

英特尔早已将AI芯片业务看作未来发展的大方向。

2018年,英特尔的AI芯片部门收入达10亿美元,英特尔预计这一市场还会以每年30%的速度增长,从2017年的25亿美元,到2022年增长至100亿美元。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

而在AI芯片领域的排兵布阵,开始得更早。

为了在与英伟达、高通和AMD等公司的竞争中立于不败之地,英特尔这家半导体领域的巨头不仅每年投入上百亿美元的研发资金,还实施了不少颇具战略价值的收购计划。

2015年,英特尔收购了现场可编程门阵列(FPGA)制造商Altera,之后推出了基于FPGA的专用深度学习加速卡。

2016年,并购深度学习芯片公司Nervana Systems,填补其在硬件平台产品的空白,并为全新一代AI加速器芯片组奠定了基础。同时,Nervana的首席执行官兼联合创始人Naveen Rao也加入了英特尔,成为英特尔AI战略的总策划师。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

同年,英特尔还收购了Movidius,这家公司专门为计算机视觉设计低功耗处理器芯片。

2018年,英特尔又将开发AI模型套件的创业公司Vertex.ai收入囊中。

研发并购双头并进,于是早在2017年,英特尔就宣布其正在研发两款AI芯片,并在2018年1月的国际消费电子展(CES)新闻发布会上进一步详细介绍了Nervana神经网络处理器(NNP-I)。

而在去年的英特尔人工智能开发者大会(AI DevCon 2018)上,英特尔首次演示了开发中的第一个商用神经网络处理器(NNP)产品Spring Crest,与初代NNP芯片Lake Crest相比,这款产品的训练性能提升了3-4倍。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

英特尔副总裁、AI事业部负责人Naveen Rao表示:

有超过50%的美国企业正在转向基于英特尔至强处理器的云解决方案,以满足他们在人工智能方面的需求,这肯定了包括英特尔至强处理器,英特尔Nervana和英特尔Movidius技术以及英特尔FPGA的方法,满足了人工智能工作负载的独特需求。

不久之前的百度AI开发者大会上,Naveen Rao也亲临现场,宣布与百度携手打造用于训练AI的神经网络处理器。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

又遭“挤牙膏”评价

消息一公布,英特尔就在推特上收获了数百赞。

面对英特尔在AI芯片领域的雄心,有网友用表情包说明一切:

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

但也有网友并不买账:

只有英特尔能分分钟搞出一个过时的芯片。

因为NNP-T使用的是台积电的16nm工艺,而英伟达V100早已用上了12nm工艺,还没上市开卖就已经落后,芯片核心面积上,V100也比NNP-T大20%左右。

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

我只想问7nm CPU呢?

英特尔首款AI芯片发布:训练推理两用,4年花费5亿刀买来4家公司

看来背上了“牙膏厂”名声的英特尔,想要挽回大众的信心,并没有那么容易。

— 完 —

版权所有,未经授权不得以任何形式转载及使用,违者必究。