AI换脸、虚拟主播、智能影像生产……文娱产业现在已成AI的天下了

安妮 发自 凹非寺

量子位 出品 | 公众号 QbitAI

这还是苏大强？

有网友将最近播出的电视剧《都挺好》中让人恨得牙痒痒的苏大强，用AI换脸变成了眉清目秀的吴彦祖，场景竟毫无违和感。

被AI调戏不止苏大强，杨幂、朱茵、徐锦江、洪世贤、梁非凡，B站名场面全被AI换脸调戏了一遍。在AI时代，眼见不一定为实。

其实，也不仅仅是AI换脸，AI已经渗透进整个文娱行业。

在这篇文章中，我们以视频制作为例，盘点文娱产业中用到的AI技术。看完之后，可能你会产生“这个世界是不真实的”错觉。

AI的文娱之旅，马上就要发车了。

Step 1：定剧本

前期策划是个技术活，视频质量最终如何，拍摄剧本、创意方案、解说词等关键内容就在一开始决定了一半成败。

要不考虑下用AI进行文字创作？

写稿机器人DreamWriter就是一位AI记者，2015年，其处女作《8月CPI涨2% 创12个月新高》一经发出就引发轰动，这个机器人能根据算法在第一时间自动生成稿件，一分钟出成稿……这手速人类记者还是望尘莫及。

腾讯的DreamWriter开了先河后，国内媒体也陆续试水，新华社的写稿机器人、阿里巴巴的“DT稿王”、今日头条的“xiaomingbot”都来了。

目前写稿机器人主要集中在财经股票、体育赛事等对失效要求高且不需要额外添加素材的领域。从速度与准确性来说，人类记者的优势开始down down down了。

AI为文字工作者省了不少工夫，不仅仅写出新闻报道，创造性的工作也不在话下。

微软小冰就是这样一个写稿机器人，任何人可以在官网上给她投喂任意照片+几个关键词，不出几秒，少女诗人小冰就会为你作出一首词句优美的诗来。

微软表示，小冰所有的诗歌都没有版权，任何人可以在此基础上随意改动变成自己的创作。虽说内涵可能不及人类诗人，但人类创作可以在其中获取灵感。

除了短篇幅的小诗，AI写的长篇小说读者反应还不错。

美国Botnik工作室的AI就续写了《哈利·波特》的新故事。研究人员先将整个系列7部小说输入至系统，用自然语言处理技术模仿原作，生成了新篇章：

《哈利·波特与看起来像一大坨灰烬的肖像》（Harry Potter and the Portrait of What Looked Like a Large Pile of Ash）。

网友表示，新篇章中有情节、有人物、有对话，而且还够神经病……如果出版一定能大卖。

有这样的AI文学家，还不怕创造不出来脑洞大开的好玩剧本？

Step 2：拍视频

有了剧本，那就可以开始拍摄了。

拍摄的场景、分镜头脚本、任务的站位……拍摄过程中需要考虑的事情颇多。

不过，AI带来了一种简便做法，比如用AI来合成虚拟主播。

这位AI主播不仅能“坐在”演播室，替代人类播报新闻。还能“手舞足蹈”，运用起肢体语言丰富表达了。男主播“新小浩”以新华社主播邱浩倍为原型创建，而“新小萌”以屈萌为原型。

虚拟主播通过对真人主播声音、唇形、表情动作等特征进行提取，通过语音合成、唇形合成、表情合成以及深度学习等技术，能具备和真人主播一样的播报能力。

还在担心拍摄过程困难么，未来自动合成技术将越来越完美。

除了合成真人主播，动画合成也可以考虑一下，迪士尼早已试水了。

此前为了改善影视动画中人物口型与台词不一致的的情况，迪士尼提出一种自动生成语音动画的深度学习方法，根据输入的台词，自动匹配嘴型。

现在，迪士尼的最新研究在此基础上更进一步，其论文显示，与美国罗格斯大学研发的端对端系统已经实现AI看电影剧本后，创建粗略的剧情更改图和视频描述文本。

可以说，AI重新定义了“拍摄”这项体力活。

Step 3：后期合成

俗话说得好，三分靠拍摄，七分靠后期，所有大片都离不开强大的后期制作。

后期是个耗时间烧显卡的活，非线性剪辑、画面渲染调色、特效合成等哪一样都是创造+体力活。

AI加持下，并非所有的工作都需要人类完成。就比如说，剪辑这项体力活AI已经能帮上大忙了。

剪辑师经常遇到一个问题：把视频剪成不同的长宽比，比如把横向的视频剪成纵向，通常很灾难。

Adobe的Project Smooth Operator的功能，可以利用Adobe Sensei人工智能和机器学习框架，自动追踪视频里主角的位置智能裁剪。

如果主角不止一位呢？当然是根据各自的动作，自动锁定每一帧的重点：

是不是很赞？

除了自动剪辑，AI已经可以做到在理解内容及场景的基础上，富有逻辑的生产新的视频内容。

在2019两会期间，光明网与中国政协传媒网联合推出的“委员全息履职”节目就借助影谱科技的智能影像生产技术，可视化、智能化地呈现政协委员履职作业，不仅让政协委员履职内容更加直观易懂，相比普通视频承载的内容也更加丰富有趣。

可以看出，AI可以根据视频内的语义场景，尝试匹配逻辑吻合的影像素材，从而让视频内的信息更加丰富直观。

并且，随着表情、语义、手势等变化，视频画面也随之同步演绎。

这样的智慧媒体技术方案，为媒体平台提供了一个新的内容生产和实现方式，媒体可依靠大数据平台基础，借助可视化模型技术，以数据地图、时间线、气泡图、交互性图表、人物关系图等方式呈现多维数据信息，实现新闻可视化加工生产。

在国内融媒体加速建设的当下以及5G即将普及的未来，视频越来越将成为媒体内容的主要载体，这样的智慧媒体解决方案将会起到更大的作用。

此外，还可以进行虚拟演播室、虚拟主播等创新报道模式的探索，通过VR、AR、人脸特征提取、人脸重构、情感迁移等多项前沿技术，对视频内容的呈现形式和交互模式进行创新。

显然，此类技术的应用正在帮助媒体和视频平台更好地管理其内容库及信息生产加工方式，优化成本结构，进一步提高视频内容开发及生产效率。

也有一些非常规的操作，比如前一阵子哔哩哔哩上爆火的AI换脸模型deepfakes。

无需会写代码，只需要手握一个fakeapp等软件应用，“投喂”想要换成的主角的视频进行训练，就能自己训练一个AI模型出来。

随后，把《射雕英雄传》里的朱茵换成杨幂，简直看不出是人造的：

把直播中的冯提莫换成赵丽颖，播放量也近百万：

不过，现在换脸也有一定的法律风险了。上周六全国人大常委会审议的《民法典人格权编(草案)》里，正式加了一条：

任何组织和个人不得以利用信息技术手段伪造的方式侵害他人的肖像权。

AI换脸一时爽，一直换脸可能就得体验一把违法的酸爽了。

Step 4：添加音效

连画面内容都能搞定，音轨上选择的那条BGM也肯定少不了AI。

现在，作曲、作词甚至演唱，都全部可以由AI完成。说不定哪一天，虚拟偶像就在偶像界攻城略地。

比如，不少宅男群体心水的AI虚拟歌姬洛天依：

这个采用语音合成技术的虚拟角色，声音根据中国配音演员山新和日本歌手鹿乃的音色合成，人物被设定成了一名15岁的少女，产出过不少魔性的歌曲，比如《小鸡哔哔》《达拉蹦跶》《花落兮》等。

除了当偶像，AI技术还能协助人类歌手作词作曲。

世界首张AI作曲专辑《I AM AI》是美国网红歌手Taryn Southern上传的作品，通过AI音乐创作公司Amper Music的软件，Southern只需调整情绪、风格、速度等参数，AI即可生成一首曲子，还会选择最合适的和弦和器演奏出来。

虽还不能与格莱美获奖曲目相媲美，但和国外音乐平台Spotify上的热门歌曲相差不大，还多了几分金属感和未来感。

放眼国内，也有不少青年才子将AI与音乐结合起来。

去年的《中国好声音》中，清华学霸宿涵用一曲《止战之殇》一战成名，这首歌中的主歌歌词，就是AI生成的。

宿涵表示，利用深度学习算法，AI已经掌握了华语乐坛近几千首作品，根据输入歌词的风格无线创作歌词。输入“深渊、噩梦、绝望、战争”，AI就能输出“讽刺挂满美丽的太阳”。作词作曲，何不让AI助你一臂之力。

从内容撰写、视频“拍摄”、后期特效到音效添加，AI参与了整个视频创作的所有流程，现在看这个世界是不是觉得不太真实了？

而这只是AI在文娱大产业中应用的一小部分。

手游王者荣耀里王者段位的AI对手，网易云音乐里的个性化推荐、阿里“鲁班”系统一秒生成8000张海报……AI+文娱的结合已经遍布了你没有发觉到的区域，科技感已经遍布到生活的方方面面。

未来，已来。

— 完 —

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态