0.7秒,完成动漫线稿上色

多种风格都能hold住

鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

给一张这样繁复的线稿:

0.7秒,完成动漫线稿上色

一步步填上颜色、赋上光影:

0.7秒,完成动漫线稿上色

你猜需要多长时间?

答案是最快0.7秒。

没错,这又是AI的手笔。

厚涂不在话下,换种漫画上色风格,只要给出示例,这只AI也能迅速get到灵魂。

0.7秒,完成动漫线稿上色

而这,还不是Ta的全部实力。

有别于业内针对静态漫画的上色AI,这个来自爱奇艺的智能上色引擎,还能用来给动态漫画赋上前后风格统一的色彩。

并且是已经正式「出道」的那种——

在爱奇艺自制轻动画《吞噬永恒》中,这只自动上色AI就已经落地应用,施展了自己的才能。

所以,这样一只AI的「上色灵感」源自何处?

我们照例一起扒一扒背后的技术~

理解线稿,精细上色

想要学会上色,AI首先要明白线稿为何物。

爱奇艺工程师们的做法,是在基于GAN的模型中引入注意力机制语义参考模块,使得AI能够自动识别人类画师给出的线稿。

如下图所示,智能上色引擎能get到眼球、斧头等各个部分完整的语义信息。

0.7秒,完成动漫线稿上色

看懂了线稿,就可以进入到上色环节了。

为了使得上色效果精准,并在多帧情况下保持各帧风格的一致性,爱奇艺工程师们祭出了以下几招:

  • 根据具体需求调整网络结构,使模型与数据更加匹配
  • 设计色彩参考模块和风格参考模块等预处理模块,提高上色图片的色彩丰富度和风格统一性
  • 多种loss相结合,实现像素级别的精细匹配和上色。

具体的上色手法,就像这样:

0.7秒,完成动漫线稿上色

虽然啪一下很快的,但其实爱奇艺智能上色引擎对人类老司机很「讲武德」——提供了分图层的输出模式,专业画师可以轻松在AI的基础上灵活调整上色细节。

需要说明的是,在给动态漫画上色的过程中,AI倒是也「参考」了一些人工上色的方法,比如背景和特效大多可以重复使用,上色模型可以只专注于对人物进行上色。

0.7秒,完成动漫线稿上色

另外,值得一提的是,在打磨上色算法的过程中,工程师们也积累下了一套线稿数据生产系统。

对于用户而言,基于爱奇艺智能上色引擎获取到的数据,可以构建线稿数据库和不同风格的动态漫画数据库。

自动动画上色模型

看到这里,你可能会有这样一个疑问:这样的AI能应用在动态漫画的制作过程中,那么更高难度的动画呢?

最近,爱奇艺在一篇WACV 2021论文中,通过最新的研究进展,展示了未来的一种可能性。(论文地址见文末)

研究人员发现,动画帧之间存在着很强的关联性,很多只是身体位置和动作发生了变化,如果能获得帧间的相关性,只需要一帧上好色的图片,就能将其颜色变换到其他待上色帧,减少大量重复、非创造性的劳动。

为此,研究人员设计了一种相关匹配特征转移模型,称为:基于相关性匹配的特征迁移模块,Correlation Matching Feature Transfer(CMFT),来将参考帧的颜色特征与待上色帧进行对齐。

并且,研究人员将该模型以coarse-to-fine的方式嵌入到基于U-Net的生成网络中,逐步对匹配的特征进行细化和修正。

0.7秒,完成动漫线稿上色

效果如何?

0.7秒,完成动漫线稿上色

上图中,实际上只有第一帧是人类画师的作品,后面几张都是AI根据第一帧生成的。

实验表明,在帧间一致性和上色质量上,这只AI都超越了前辈。

这也就意味着,AI自动上色技术未来还可能在更为复杂的动画领域大展身手。

等到这样的AI模型从实验室落地到工业界,一方面,能在更广阔的领域中解放创作者的双手,让他们将更多的精力投入到艺术创意工作中。

另一方面,无疑能进一步提高动画的工业化生产效率、降低生产成本。

好番连连看的日子,想想都觉得幸福感爆棚了。

当然啦,在这个过程中,想要实现AI和创作者习惯之间的无缝衔接,让AI模型能「摸透」创作者的想法,还是少不了算法研究者和动漫创作者之间的紧密交流、合作。

推动动漫工业化新流程

转回当下,像爱奇艺智能上色引擎这样的AI,其实已经开始在产业中发挥价值。

事实上,熟悉动漫画制作过程的小伙伴都知道,线稿上色这一步处于脚本创作、分镜和线稿之后,随着剧情的推进,动漫内容需要不断去更新延续,在流程中存在重复劳动环节,工作量巨大。

以漫画为例,一话通常在十到二十格之间,一部作品基本又是成百上千话的量,其中涉及大量对相同或相似帧的上色工作。

而AI恰恰能够辅助人工完成上色环节中的底色和光影着色,有效提高行业生产力。

0.7秒,完成动漫线稿上色

在2020年中国二次元用户规模有望突破4亿的背景之下,对于动漫产业而言,人工成本的攀升和有限的上色效率,目前已经成为限制动漫产量提高的一大障碍。

而爱奇艺智能上色引擎这样已经实际落地到动态漫产业中的AI,恰恰为解决这一矛盾带来了一种全新的可能性:改变传统工作方式,把创意交给人类,把重复交给AI。

爱奇艺表示,相较于纯人工上色,智能上色引擎预计可在动态漫制作上色环节中,节省约30%的人力。

除此之外,对于专业上色画师而言,这样的AI或许也能够提供参考,激发新的灵感,甚至衍生出更多更有意思的玩法。

那么,你是不是有什么大胆的想法了呢?

文章最后,传送一下这只AI的作者——爱奇艺AI创作团队。

该团队的目标是:不断探索新技术与内容制作的深度融合,以技术替代操作简单、重复性高且繁琐的基础性、非原创性工作,让创作者把时间投入到创意中,进而优化内容生产流程,推动行业的工业化水平。

目前,不仅是在动态漫上色领域,在录制、素材管理、后期等综艺节目制作环节,爱奇艺均探索了AI辅助一体化智能制作方案的应用。

论文链接:https://arxiv.org/abs/2004.06718

— 完 —

版权所有,未经授权不得以任何形式转载及使用,违者必究。