虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天
相关动画网友都转疯了
Pine 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
什么样的新技术,能在ChatGPT的包围圈里脱颖而出火爆全场?
一部iPhone,两分钟,真人大变数字人!
还是表情动态、眼神细节一比一还原的那种。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/3e6cc2483d60ec75a3f5562884eb51c2.gif)
没错,动作捕捉视频,发布会现场iPhone录制,后期处理全过程也都当场完成。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/ce62bc480ca261bc33faa80ac8030e7d.gif)
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/4e96e6cb9ececf33e2274b5e0954618d.gif)
在此之前,这位《地狱之刃》女主演经历的动捕都是酱婶的:
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/9734db6803f7223c677e2a898f4f976a.png)
复杂的设备必不可少,而且不仅要在脸上标满定位点,后期花费的时间也还得长达几周甚至数月。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/56da041ce9431b10aeef2bd15507a16d.jpeg)
这不,Epic刚把虚幻引擎5这一新能力公布出来,网友们都炸了锅了,相关视频播放量迅速突破百万。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/0d94be38e6f4c098d425a25b5c3b7c93.png)
“现场”氛围嘛,总结起来就是一通操作猛如虎,网友直呼太疯狂:
(实现面部建模)从几个月到几分钟,未来几年游戏的发展必定是疯狂的。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/65622842ed048c7768916c5d6d2d8cf4.png)
还有网友表示,以后再也不能说什么眼见为真了。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/cc67cf6408704f624ebbfe0179aa3a70.png)
三帧视频就能生成3D模型
具体来看看,这一名为“MetaHuman Animator”的骚操作,究竟是如何做到两分钟搞定面部动捕的。
以现场演示为例。首先,演员要录制一段视频,期间可以做出任何表情。可以是夸张的愤怒:
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/f8d1bb2edbae1332c260be657ca6b91d.png)
也可以是细小的眼神变化:
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/d968d449912b13b8680a1a47aea6b85b.png)
并且录制全程只需一部iPhone。
接下来,技术人员将录制好的视频上传到软件,整个处理过程都是在本地进行。
总结下来,处理过程分为两步:
1、最新版本的Live Link Face应用程序会尽可能用最佳的分辨率捕获所有面部动态;
2、MetaHuman Animator使用视频和Dev数据将其转换成高保真的动画。
在这个过程中,先是用Live Link Face对演员的视频进行面部动作捕捉。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/f478d87707f5320ef35bbf6c7321fa4f.gif)
完成面捕之后,只需要三帧视频 (正面、左侧面、右侧面)就能生成演员的“元人类DNA”。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/4ddcb004a715d93fd10b4fd0fa7b06f3.gif)
其中用到的算法是定制版面部特征算法,生成的过程只要几秒钟。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/95f85451b2796e80ddbc65872fe93779.gif)
这样一来,所有的面部数据都会被标定,还原出刚刚视频录制中的面部表情也就更加容易了。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/01bcc13df73326539b438f3c14f28f73.gif)
更重要的是,在这个过程中,可以将真人视频与生成的建模视频进行逐帧比较。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/82996b3a870407922a1672cc497c0545.gif)
然后等几分钟不到,完整的动画视频就成功生成了,最终工作人员要做的就只有微调和导入音频。
在新应用的加持下,做到下图这样的效果,对于工作人员来说也是信手拈来。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/ea526da01a59fb1e4d40f8f6183ae64c.gif)
算法细节上,Epic是采用自家“面部求解器”和“标志检测器”来确定视频中人物面部的关键操作点。
利用这些关键点,基于语义空间解决方案,AI会将每一帧视频映射到“n维人类空间”数据库中的最近邻居上。
这个所谓“n维人类空间”,是Epic在多年来收集到的详细面部捕捉数据的基础上,挑选打磨过的庞大数据库,包含头部各个部位的各种运动姿态。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/8c16c2500080178fda6568836c56b032.png)
网友:3D动画和游戏都要变天了
Epic这波炸场,算是给最近被AI大浪冲击得恍恍惚惚的人类,又添了一点刺激。
有metahuman领域的网友就说“3D动画和游戏都要变天了”:
几个月前用iPhone还只能捕捉到大致的面部肌肉控制。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/19934d11ca7c821f3cad5d933251f8da.png)
不过,相比于各种“失业”现场,对于这项技术,更多人乐见其成。
有网友表示,有了这项技术之后,开发人员直接效率翻倍,能够节省太多时间,要做的就只有后期润色。
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/7da3da6c8247b7868879526e19e35c0c.png)
还有网友已经在期待电影制作人使用这项技术了:
![虚幻5再次炸场!1部iPhone搞定3A大作级动作捕捉,网友:游戏行业要变天](/wp-content/uploads/replace/c3d934ec8f2b55cf8410650d527afec1.png)
Epic自己则说,新的MetaHuman Animator有利于“复杂角色技术的民主化”。并表示这项新技术有望在今年夏天更广泛地推出。
那么,你期待吗?
参考链接:
[1] https://www.unrealengine.com/en-US/blog/new-metahuman-animator-feature-set-to-bring-easy-high-fidelity-performance-capture-to-metahumans
[2] https://www.youtube.com/watch?v=pnaKyc3mQVk
[3]https://arstechnica.com/gaming/2023/03/epics-new-motion-capture-animation-tech-has-to-be-seen-to-be-believed/