“感知不强”又”徒增功耗”?为何今年5G手机也这么重视AI

晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI

今年你准备换手机了吗?

小米10、一加8、OPPO Find X2、vivo NEX 3s、iQOO 3、realme X50 Pro……上半年一大波手机发布潮依然在继续,简直让选择困难症不知所措。

什么才是你换机的最大动力?可能绝大部分人都会说是5G。

的确,5G让手机的网络速度更快,但还有一项指标性能的重要性一点不亚于5G。

从去年开始,各大手机评测开始给手机加入了一个新的评测维度——AI跑分。这个过去从来不受关注的参数,如今成为了不少人心中衡量手机性能必不可少的一项指标。

国内知名的性能测试软件鲁大师甚至还专门提供了AI跑分测试软件AImark

在鲁大师最新公布的AImark跑分中,高通骁龙865以11万的高分拿下芯片榜第一,不仅比高通上一代芯片提升一倍,也把苹果的A13仿生芯片远远甩在身后。

高通为何要提升手机芯片看似“感知不强”的AI能力呢?

AI跑分又是否仅是一个“徒增功耗”、“方向错了”的噱头?

然而你可能不知道的是,至少在拍照这件事情上,如果没有AI,旗舰手机今后可能真的无法玩转了。有人也许不禁要问,AI技术和手机日常使用有什么关系?

手机AI有什么用

要解答这个问题,我们先来看看鲁大师到底给骁龙865测试了什么。

这次高通骁龙865夺冠的鲁大师AImark 2.0测试总共包括了4项成绩。这4项分别代表手机在4种不同神经网络下的运算能力。

先看前两项基本AI能力,ResNet-34Inception V3

ResNet是当前应用最广的卷积神经网络(CNN)的特征提取网络,多数处理图片的AI模型或多或少的使用了ResNet。在神经网络越来越复杂的今天,ResNet可以做到在更深的神经网络上不降低性能。

Inception V3是Google开发的一个开源神经网络模型,进一步提高了图像分类效果。用了Inception之后,神经网络结构的宽度和深度都可扩大,能够带来2-3倍的性能提升。

如果说前两项是考察芯片的基础AI能力,那么后两项就是靠具体单科能力了。

MobilenetSSD是一种目标检测算法,具有速度快,精度高的特点。所谓目标检测就是让AI找出图像中的物体,指出它们的位置和种类。SSD表示一次拍摄即可检测图像中的多个对象。

这种模型目前在手机AI中有广泛的应用。比如手机拍照中的场景识别,目标能够知道你拍摄的是美食还是植物。

当识别出照片主体的内容后,拍照算法就会对画面做出特定的优化,拍出更美的照片。

在实测中,高通骁龙865能让整个识别的过程不到1秒就能完成,真正提升了拍照场景识别的易用性。

Deeplab V3+是目前在手机设备上效果最好的图像语义分割模型之一。

语义分割比目标检测更进一步,目标检测仅能识别出物体的大致位置,而语义分割要求对识别出的物体做到像素级的划分,精确画出边缘。

更通俗地说,这一项跑分测试的是手机AI“抠图”能力。

由于受到体积所限,手机摄像头单靠光学成像不能做到和单反相机一样的背景虚化能力,这时候就需要语义分割模型的帮助。

不仅如此,今年各家手机主打超强变焦、8K视频、超级防抖,都需要AI计算的支持。

到这里,你还会觉得手机芯片性能强大的用处只能用来打游戏吗?

游戏满帧运行对旗舰手机来说早就不是难事,但是各种新奇拍照玩法直到近两年才崭露头角,最重要的原因就是骁龙系列芯片AI能力的巨大提升。

AI性能翻倍的法宝——张量核心

那么高通又是如何在短短一年内将AI性能翻倍的呢?

我们先来看看骁龙865的构造:

除去SoC中最基本的CPU、GPU和图像处理单元ISP,骁龙865中集成的Hexagon处理器中包括一个专门为AI运算加速的Hexagon张量加速器(HTA)。

其实Hexagon之前是SoC中的数字信号处理单元,也就是常说的“DSP”,之前主要被用来处理语音和音视频解码。但是随着AI技术的兴起,高通终于给Hexagon升级了。

在去年骁龙855的Hexagon 690中,高通首次引入HTA实现了专用的可编程的AI加速。作为骁龙865集成的第五代Qualcomm人工智能引擎AI Engine的核心,Hexagon 698的HTA能效比上代提升了35%。

此外,骁龙865还在GPU上改善了浮点运算和AI性能,系统整体运算能力与前代(7TOPS)相比提升一倍多,实现高达每秒15万亿次运算(15TOPS)。

这也与AImark的实际跑分相符,证明了高通AI运算能力是实打实的提升,而非针对跑分软件做出的特殊优化。

但手机AI是需要对整体考量,不是靠堆料就能简单地实现性能提升。

手机和云端AI、PC端AI最大的差异是,需要考虑有限的续航与散热能力,也要考虑开发端口的特殊性。

普通的GPU做的是16位或者32位的浮点运算,优点当然是精确度高、性能强大,但是能耗也更高。

而Hexagon支持的是8位和16位的定点运算,这种运算更适合压缩后AI模型,虽然精度有些许损失,但是运算量大大减少,在边缘设备上应用广泛。

高通和Android开发商谷歌还对Hexagon上的应用开发做出了定向优化。

比如高通的神经处理器SDK、Android神经网络API和高通Math库等,都可以被开发者所用,用来快速开发高效的AI应用。

此外,高通还采用了一种深度学习带宽压缩的技术,将数据量压缩一半,降低了运算能耗。

骁龙865的AI性能提升绝不仅止于此。在处理AI任务时,往往有大量的数据进入到芯片中,而处理这些海量数据需要消耗更多电能、增加功耗。

对此,高通开发了一项全新的专用技术——深度学习带宽压缩。这还是一项完全无损的压缩技术,也就是说所有数据的精度不会有任何损失。

带宽压缩能够对这些海量数据进行高达50%的压缩,以节省电能、降低功耗。

在一些对AI性能要求极高的情形中,骁龙865与今年最新的LPDDR5高带宽内存相互配合、相得益彰。

总之,骁龙865的AI不仅仅是简单的加个神经网络核心,而是从CPU、GPU、Hexagon处理器(包括张量加速器),再到软件、内存带宽压缩等等的一整套AI解决方案。

AI让手机真的“智能”了

当然,AI性能的提升不仅仅是性能指标,也给我们的生活带来了突变。

高通在去年的AI Demo Day上,和多家手机厂商、软件开发商展示了手机端AI应用的无限前景。

专门开发拍照算法的虹软,基于骁龙移动平台,用AI实现了更强大的超级夜景和全身塑形美颜。

AI行业巨头旷视和商汤在人脸识别和3D建模上玩出了新花样。

其实高通骁龙865岂止是在图像处理上的性能提升,它也让过去噱头意味更浓的语音助手有了实用价值。

今年的Hexagon处理单元具有了对上下文感知低功耗AI语音助手的支持,对语音识别、声音传感器的处理再上一层楼。语音助手会比过去更灵敏,多轮对话也更智能。

在语音翻译方面,鉴于骁龙865首次支持文本和语音实时翻译的AI特性,网易有道还与高通合作开发了同声传译的功能,出门再也不怕语言障碍。

过去需要大量运算的人工智能技术在手机这个小小的终端上实现,靠的是骁龙865等一系列芯片在AI性能上质变的提升

现在,你还觉得手机AI只是“感知不强”、“徒增功耗”的宣传噱头吗?

版权所有,未经授权不得以任何形式转载及使用,违者必究。