科大讯飞高建清：「底座+能力+应用」是科大讯飞AIGC整体布局的三层架构｜中国AIGC产业峰会

明敏 整理自 凹非寺

量子位 | 公众号 QbitAI

ChatGPT掀起AIGC浪潮后，关于它的影响，成为了行业内外最为热议的话题之一。

宏观的观点已不胜枚举：改变世界、AI的iPhone时刻……

但如果回归到技术本质，它到底会带来哪些变革？

我们认为，它会改变信息分发获取的模式。革新内容生产模式，变革人机交互模式，同时也会促进多个产业的升级。

这是科大讯飞AI研究院常务副院长高建清，在首届中国AIGC产业峰会上给出的答案。

作为国产AI的中坚力量，在这股最新趋势下，科大讯飞始终被寄予厚望。

尤其在2月初，他们率先给出类ChatGPT技术与产品跟进情况及定档时间，更是把行业内外的期待值拉满了。

具体如何？还得5月6日见分晓。

但提前剧透已经来了。

在首届中国AIGC峰会现场，在语音识别、语音合成、自然语言理解等领域拥有深厚积累和成果的科大讯飞AI研究院常务副院长高建清，分享了科大讯飞对于AIGC趋势的理解、技术进展、产品应用，以及认知智能大模型相关思考等内容。

为了完整体现他的思考，在不改变原意的基础上，量子位对其演讲内容进行了编辑整理，以飨读者。

中国 AIGC 产业峰会是由量子位主办的行业峰会，近 20 位产业代表与会讨论。线下参与观众 600+，线上收看观众近 300 万，得到了包括 CCTV2、BTV 等在内的数十家媒体的广泛报道关注。

演讲要点

• “底座+能力+应用”是科大讯飞AIGC整体布局的三层架构。
• 语音合成将会向着交互更加拟人化、情感化、口语化的方向发展，并且要控制好音色、音律、口音等语义信息。
• ChatGPT引发的创新，让AI在逻辑推理、多角色、多风格文本生成上都有了巨大进步。
• 大模型会改变信息分发获取的模式，并给内容生产模式、人机交互带来变革。

以下为高建清演讲全文：

音频创作也会向大模型方向发展

非常荣幸能有这样的机会和大家分享科大讯飞在AIGC方面的技术探索与应用创新方面的一些进展。

如下是科大讯飞在整个AIGC领域的布局情况。

科大讯飞在AIGC的三大模块：音频创作、视觉创作和文本创作，都有一些自己的理解和进展。

在音频创作方面，讯飞是一家以语音起家的公司，我们在音频创作方面有语音合成的全栈能力；在视觉创作方面，积累了以虚拟人为核心的完整视频创作能力；在文本生成方面，讯飞这些年主要围绕行业应用做了很多工作。

今天将主要围绕这三个方面展开介绍。

首先看一下音频创作。

在这一领域，我们认为最重要的技术之一是语音合成。

现阶段，播报式的语音合成已经接近或达到真人水平，接下来的发展趋势是什么？

我们认为，首要的发展趋势是如何在交互领域实现更好的拟人化、情感化以及口语化，总之让它更像真人。

另外，在内容生产领域，如何更好控制音色、音律、口音等语音里最重要的语义信息，也是一个重要的发展方向。

这两年我们也在这些领域有了一些进展。

首先是虚拟声音自动创作方面。

语音合成里，和声音相关的两个最主要元素：

• 第一是音色
• 第二是韵律信息

我们对这两部分进行显示建模，这样当你给系统输入一个人设时，比如青年甜美的女声，就可以生成对应的音色。

目前我们通过这一技术已经虚拟生成了500个声音，并在讯飞开放平台上开放。在满分为5.0MOS分的情况下，我们生成的声音超过4.0MOS分，已经达到了可用的阶段，有了这种虚拟生成声音的方式，大家可以选择生成喜欢的一些声音。

第二方面，怎样向多情感、多风格方面拓展？

去年，科大讯飞发布了全新的语音合成系统，即多情感多风格SMART-TTS系统。

这是一个端到端的方案，输入文本直接得到语音输出。其中有三个关键模块，第一是跨模态预训练，第二是韵律预训练，第三是声学预训练。三部分各司其职。

第一个模块可以提高语音合成中韵律的自然度；第二个模块是一个中间模块；最后一个模块可以提高声音整体的音质。

通过这样一个系统合成的声音，和专业声音演员录音水平的差距0.05MOS，已经取得了非常好的进展。

MOS是Mean Opnion Score的缩写，译为平均意见得分，是音频质量主观评估方法的一种。在语音合成领域，常见的有自然度MOS(MOS of naturalness)，相似度MOS(MOS of similarity)。

在这个系统中，我们还拓展了多个风格。

以往大家熟悉的语音合成主要用于播报、交互等领域，现在我们可以支持纪录片、游戏解说、广告直播等十多个领域。

同时，语音的情感能得到控制，SMART-TTS提供11种情感，每个情感有20档调节能力。我们发现，停顿、重音、语速等关键属性对于声音的表现力非常重要，这些也可以进行调节。我们也将这些能力开放给开发者，让大家都能创造并得到想要的声音。

可以看到，近年来声音合成已经不是传统意义上的播报、机器风格，已经向多感情、更多场景去拓展。

接下来音频创作会向什么方向发展？

我们认为有两个大方向：

第一，大家今天谈论最多的是大语言模型。在声音领域，大语言模型也是一个重要方向，ChatGPT给声音创作领域带了很多启示。

如果我们用Audio大语言模型方案，有可能对语音合成中的一些关键因素，比如口音、韵律等特征，进行很好的控制。

另外就是声音艺术。其实现在追求的不仅是声音能够表达意思，而是怎样能从自然可懂到悦耳享受。比如在声音中插入音效、环境音，会对整个语音合成的感受有很大改善。

5月发布大模型新成果

接下来来看第二部分，即科大讯飞在视觉创作方面的一些进展。

在虚拟人多模态合成方面，科大讯飞从2018年首发多语种虚拟人口唇驱动，2021年发布了2D真人捏脸系统。目前已经形成了3D虚拟口唇表情和动作的AI驱动到AI贯穿3D形象构建的全流程。

首先看一下虚拟人领域的关键技术——动作生成。

众所周知肢体语言对虚拟人来说非常关键，业界传统方法是采用动作库。

要知道，动作生成和两个因素有很大关系：

• 第一是语音发音中的韵律节奏
• 第二是动作意图

针对这两部分进行建模，能够很好实现动作合成，讯飞研究院提出的语义驱动虚拟人动作技术，在虚拟人动作的拟人度和契合度方面，都较传统方案有很大改善，从2.63分提升到3.75分左右。

第二个方面也一样，我们希望实现语音可控的半身数字人像生成。

通过文本语义约束的人像语义空间构建、基于扩散模型的人像语义向量生成两个阶段，输入一个人设，就能动态生成下图右边这些图像。这些图像是半身数字人的形象。

最后一个虚拟人的关键因素就是3D虚拟人的动态生成。

近两年科大讯飞研究院打造了个性化3D虚拟人复刻系统，实现了基于一张图片、一段语音就能驱动3D虚拟人，同时还支持3D虚拟人发型、眼睛、嘴型进行动态二次编辑。

在这些虚拟人技术的基础上，我们在产品方面也有一些探索。

讯飞音乐发布了AI虚拟歌手Luya，通过上述所说的音色创作技术，给这个虚拟歌手赋予了一定声音的能力。通过AI变声以及歌曲合成，现在TA已经发布了十多首歌曲，其中一些歌曲也得到了大众的喜爱。

那么问题来了，虚拟人未来的发展趋势是什么？

首先我们认为，现在虚拟人制作过程中还有很多人工环节，如果把AI能力融合进去的话，全流程加入AI会解决很多问题。

另外AIGC这一两年的发展速度非常迅猛，从文本到声音到图像，这些全栈能力的集合，让我们觉得可以形成以虚拟人为中心的全栈视觉生成能力。

接下来，再看一下科大讯飞在AIGC方面产品创新的一些探索。

首先是我们推出了讯飞智作APP，这个APP结合了以上很多AIGC能力，希望能够打造一个音视频内容的AI创作基地。

第二个是讯飞音乐的词曲家平台。

通过AI的辅助作词作曲，可以帮助创作者提高生产力。通过歌曲试音及质量分析，能够使采买人和音乐人之间的沟通变得更加顺畅。

最后再简单介绍一下科大讯飞在文本生成方面的思考。

关于文本生成，我们在教育、医疗等行业应用上做了很多工作。过往的一些进展今天不做过多赘述，主要分享一下我们在大模型基础能力上的一些理解和布局。

首先，ChatGPT基于所谓大语言模型，正是因为模型数据量巨大，使得它对信息记忆非常完整。

第二个是它范式上的最大变化，是将以往NLP里面每一个任务进行单独建模，ChatGPT是典型多任务的对话式理解的建模，正是因为它对多任务同时建模，使得模型在底层的语义理解能力极大增强；

另外，它采用学习的方法，能够将人类反馈非常好地融入到模型中。

正是这几方面创新，让AI在逻辑推理、多角色、多风格文本生成等方面都有了很大进步。

同时，大模型也会给产业带来非常大变革。

我们认为它会改变信息分发、获取模式，首先会给搜索引擎带来非常大的影响，其次也会给内容生产模式带来革新；第三对于人机交互会产生一个大变革。

在这个趋势下，科大讯飞在大模型方面也在开展一些工作。主要会基于我们对自身所在领域的理解，包括场景、数据、场景中的行为等方面，以及在教育、医疗、人机交互、办公这些方向。

之前讯飞研究院也在认知智能大模型上有一定积累和探索，5月6日我们也将有新的发布，敬请大家期待！