火山引擎超清修复Beyond经典演唱会，技术能力已对外开放
31年前影音变清晰
7月3日晚，抖音携手环球音乐旗下厂牌宝丽金，直播经过火山引擎超清修复的Beyond Live1991生命接触演唱会及纪念音乐会精选内容，吸引了超1.4亿人次观看。
Beyond是一支成立于1983年的摇滚乐队，随着粤语音乐的兴起，Beyond乐队的名字成为一个时代的文化印记。“Beyond Live1991生命接触” 是Beyond第一次在红磡体育馆举办的演唱会，宝丽金随后发行的影碟在90年代几乎一盘难求。此后的31年中，这场演唱会成为几代歌迷的音乐启蒙和青春记忆。
受限于当时的拍摄器材、存储介质及录音设备技术，演唱会母带及网络上流传的各版本音视频质量欠佳。为了提升观看和听感体验，再现Beyond这场经典之作，火山引擎从画质和音质两个方面进行了修复。
火山引擎多媒体实验室介绍，早期软硬件设备落后，导致影片在制作、压缩、传输等过程中存在画面模糊、纹理丢失和噪声瑕疵等问题。提升画质的同时恢复尽可能多的细节，优化色彩并保留复古感，以及调节不同大小、姿态人像的修复效果，是本次修复的难点。
“我们的目标是从画面整体清晰度、人像五官复原度、色彩亮度、流畅度、美观度等方面对画质进行提升。”画质上，本次修复通过清晰度增强和瑕疵修复、分区域色彩亮度增强等算法，处理早期软硬件设备落后导致的问题。视频分辨率从不足540p提升到接近4K水平，帧率从25fps提升到60fps。
通过人像增强算法修复，黄家驹面部的眼线、毛孔等细节清晰可见
此外，火山引擎多媒体实验室还自研自适应人像增强算法，针对人脸压缩损伤、模糊、低分辨率等问题，进行修复增强。该技术基于深度学习，在消除人脸整体的模糊和压缩损伤的同时，进一步对人脸关键的五官进行细节重建。修复后，人物面部的胡须、毛孔清晰可见，给观众带来更佳视觉感受。
在音质修复方面，火山引擎音频技术团队通过音频降噪、音频超分和响度算法，消除噪声提升音质，解决响度、噪声干扰、带宽不足等问题。
与传统降噪方案不同，本次降噪算法针对音乐场景和人声场景，实现了兼容AI降噪算法，在保留音乐和人声的前提下，抑制周围噪声。音频超分算法则对演唱会中的人声部分进行频带拓展，丰富高频信息，使人声更加清晰。从频谱图中可以看到，通过超分模块的处理，原始音频的高频部分得到了拓展和增强。
通过音频超分算法的处理，原始音频大于12kHz的高频信息得到了一定程度的补全修复
由于演唱会的拾音情况不同，导致演唱会唱歌的声音有时候相对乐器声和环境音过小，火山引擎音频技术团队利用响度算法首先单独提取唱歌的部分，然后调整唱歌部分的响度，最后再混合，使得整体的人声更加舒适。
据了解，演唱会的这些修复能力均已通过火山引擎智能处理、音频技术产品对外提供服务。另外，火山引擎还对外开放了画质全链路端到端解决方案，覆盖上传、转码、传输、消费等环节，实现视频内容在画质、码率、体验等方面的全方位优化。
数字化技术正成为驱动文化传承的力量。相关报道显示，2021年10月，西瓜视频及火山引擎推出“经典视频4K修复计划”，通过技术手段，已累计修复完成71部经典动画片，修复后的内容可在西瓜视频、鲜时光TV免费观看。
火山引擎相关负责人介绍，未来还会利用更多先进技术修复经典影像，让经典焕发新生。
- 腾讯文档推出智能白板创新品类，自研开物引擎支持全端应用2024-04-19
- 易点天下入选量子位「2024 中国 AIGC 应用全景图谱」2024-04-19
- 中国首个音乐SOTA模型「天工音乐大模型」今日公测2024-04-17
- ..2024-03-22
相关阅读
