vivo新机一英寸大底没跑了，还能数秒拍出星空
一揽子发布了7大影像技术矩阵
杨净 发自 凹非寺
量子位 | 公众号 QbitAI
你敢信，这样一张沙漠里星河密布的照片，会是手机秒秒钟拍出来的？
而像专业摄影中才有的一些操作，比如白加黑减，如今手机也可以做到。
（白加黑减：在一些过黑or过白的场景中，相机智能系统可能会误认为过曝或欠曝，自动调整曝光度，导致白不是白，黑不是黑，呈现一种掺杂灰色的状态，这时候就需要摄影师手动调整曝光。）
这就是以影像建厂的蓝厂vivo，在最新战略发布会上分享的影像技术，从传感器到算法、自研芯片，从风光到人像……还宛如大型预热现场？！
明示一英寸大底、50mm人像镜头、自研芯片AI-ISP架构升级……
有网友评论：要是下一代X90这些技术能放下就好了。
但有一说一，这一次vivo，的确将自己的影像深耕由表及里，由内而外地讲清楚了，还直接摊出自己的秘籍。
这就来带你一文看尽。
vivo如何思考影像技术革新？
通常而言，从技术的维度来看，影像主要有光学、算力、算法三个方面。
具体到用户侧，则涵盖了色彩、夜景、人像、运动、视频等场景去提升体验。
这次vivo直接一揽子发布了7大影像技术矩阵，将其归纳于三个“比肩专业影像”目标当中。
- 比肩专业影像设备：光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎。
- 比肩专业摄影团队：环境理解技术
- 比肩专业后期能力：超感人像系统、苍穹夜景系统。
通过这样一个技术矩阵，搭建起真实世界——成像系统——后处理算法的影像通路。
以光学感知系统为例，则包括与蔡司合作的光学模组、镀膜等技术。此次发布会全新发布了一项新技术——VCS仿生光谱技术。
据介绍，光线在进入感光元件时会先通过color filter，普通图像传感器的color filter光谱，与人眼差异很大，而要继续优化还原又将影响画质；VCX仿生光谱，就是通过改善Sensor QE光谱，信噪比提升20%和色彩还原能力提升15%，让传感器接收的原始信息接近于人眼。
除此之外，会上还提到将对感光元件做一些“升级”——配置更大底的CMO，比GNV提升了77%。
有细心的网友算了算：一英寸大底没跑了。
再以超清画质引擎为例，其典型技术包括光学超分算法。
据介绍，手机因为体积限制，会在光学上做出一些妥协，比如潜望摄像头，原始图像经过镜头后会损失约50%的信息。而光学超分算法通过对镜头的缺陷建模分析，可恢复约35%的损失信息。
引擎中还有Denoise、Demosaic、Deblur等模块，经过1亿多次场景训练，深度运算能力较上一代提升了10倍。
而且还透露，为了配合下一代长焦硬件升级，超清画质引擎可对5倍以上的焦段，理论最高提升64%的拍摄解析力。
当然这不过也只是通过拍摄过程进行拆分。
根据具体的场景，vivo还亮出了特有的技术矩阵。
就专业影像而言，场景无非风光、人像、视频以及特定的夜景这几个类别。
不妨就以竞争最激烈、也是最能体现技术实力的人像、夜景为例。
vivo的超感人像系统包括三大核心技术模块：人像理解、人像美化以及人像氛围。
人像理解技术，它可以对人脸进行语义重点和轮廓细节的提取，建立103个特征点的关键人脸坐标；与此同时，还将对皮肤、手势、肢体关键点进行检测，主体分割IOU的精确度达到了96.15%。
人像美化，则是基于去年S12微米级焕肤塑颜技术的升级；还有人像分化融合技术。
在镜头上则是采用50mm人像焦段，还通过深度感知虚化，与蔡司合作还原了多种经典镜头的效果。
苍穹夜景系统也进行了全面的升级，发布上公布了三个全新模型：超感光模型、全分割语义模型和臻彩影调模型。
其中超感光模型，顾名思义，可将感光能力最大提升100%，ISO最高可支持102400。
据说，这样就可以拍到银河了哦~手持星空了解一下。
而为了适应像视频这样对计算处理能力要求高的场景，vivo自研芯片也有更新。
最大的更新，就是架构的升级：从ISP到AI-ISP。
传统ISP能以低延时处理大量的数据流水，但只能理解已知、特定的问题；AI-ISP则相当于给传统ISP芯片加个AI大脑——通过硬件直连的方式，将AI计算直接融入ISP Pipeline中，从而实现处理能力、能效的提升。
基于这样的升级，下一代芯片在片上内存单元（每秒1.3万亿比特的峰值数据吞吐速率）、AI计算单元（每瓦16.3万亿次运算的峰值能效比）、图像处理单元*（夜景降噪效果提升20%等）都有相应的突破。
两个影像战略
好了，说到这里vivo也不瞒了，直接公布了自己的影像战（mi）略（ji）。
两大支点：联合创新+自主创新。
联合创新上，vivo与蔡司及上下游厂商，研发更好光学系统。而在自主创新上，则是布局算法和影像芯片的研发，软硬件协同并持续迭代升级。
不管是合作还是自研，目标只有一个——构建底层核心能力，从而得以在影像长赛道上持续深耕。
最后，对于vivo这一波影像秀肌肉，你最期待哪项新技术呢？
- 液体都“智能”可编程了？哈佛新型超材料登Nature，粘度、透明度、弹性可变2024-04-14
- 大模型做时序预测也很强！华人团队激活LLM新能力，超越一众传统模型实现SOTA2024-04-11
- 刚刚，又有20亿巨款砸向AI，产业场景里的AGI2024-04-09
- 0门槛免费商用！孟子3-13B大模型正式开源，万亿token数据训练2024-04-01
相关阅读
