快手的AR小人,正在代替你跳海草舞

郭一璞 发自 凹非寺

量子位 报道 | 公众号 QbitAI

AI能换脸,想必你已有所耳闻。

但通过手机就可以实时“变脸”,快手还是第一家。

没错,这家短视频领域的独角兽,正在利用AI技术,给产品创造更多玩法。

近期新版本更新后,快手App上新增了AR换脸特效,与常见的点缀式手机AR特效不同,这个AR角色的面孔可以由用户自定义。

怎么讲?

比如在拍摄短视频时,如果选择了AR换脸特效,可以选取相册中的照片,把相册中的人脸“移植”到AR三维模型上…

之后,一个长着你想要的脸的3D虚拟角色,就诞生了。

像这样:

快手的AR小人,正在代替你跳海草舞

这样:

快手的AR小人,正在代替你跳海草舞

或者这样:

快手的AR小人,正在代替你跳海草舞

△ 今日最佳白切鸡

当然,玩起来很简单,但背后的AI技术并不简单。

AR变脸背后的AI技术

核心而言,要感谢快手的3D引擎,以及考验AI硬实力的YCNN深度推理学习技术。

所谓3D引擎,就是为了呈现3D的角色,在引擎上添加编辑器模块、渲染模块、肢体模块、声音模块等。

这些模块让3D角色皮肤光滑、在真实的光影条件下立体而真实,可以让用户随意拖拽这些角色的位置。

但这才刚开始。

3D角色成形后,离实现AR换脸还有3大步骤:

一,让3D角色AR化;

二,把用户照片中的脸移植到AR模型上;

三,让即使目前最低配的手机也能完成如此复杂的运算。

这就需要快手自主研发的YCNN深度推理学习引擎发挥作用了。

YCNN深度推理学习引擎可以让AR算法优化,在手机端实现运行,还可以帮助对用户的照片进行脸部识别,精准分割出人脸的部分,贴到3D角色的脸上。

除此之外,在快手魔法表情等应用中,YCNN深度推理学习引擎也发挥了作用

说出来可能多余,但这家短视频领域的独角兽,技术——特别是AI技术,占据着核心关键的作用。

快手内部,甚至还有一支专门的AI团队。

快手Y-Lab实验室

这支团队番号Y-Lab,称Y实验室,快手希望把它打造成DeepMind一样的团队。

所以Y-Lab的负责人正是快手AI副总裁郑文。

郑文是快手CEO宿华在清华期间的同学,清华硕士毕业后去了斯坦福读博,研究计算机图形学和电影特效。

快手的AR小人,正在代替你跳海草舞

△ 郑文博士

此后,郑文陆续在ebay和pilot.ai从事计算机视觉方面的研究。

2016年的秋天,郑文博士受到老同学宿华的邀请,回国担任快手Y-Lab实验室负责人。

快手Y-Lab实验室专门做一些为用户提供有趣体验的功能,比如这个手上长多肉的AR特效:一颗种子从天而降,掉落在手心,逐渐生根发芽,长成一颗多肉,之后慢慢变为盛放的样子。

快手的AR小人,正在代替你跳海草舞

此外,人体姿态捕捉也是Y-Lab正在研究的产品,用户通过手机直接拍摄人的动作,就可以将所有动作转化为特效。

在影片《猩球崛起3》上映时,快手推出的“一秒变凯撒”就是利用了Y-Lab的这项技术,手机直接捕捉人体关节的活动状况,电影主角凯撒的形象就可以随着人的动作而变化。

快手的AR小人,正在代替你跳海草舞

值得一提的是,Y-Lab还对快手的视频推荐机制发挥作用力。

一方面,通过视频理解技术,让机器读懂视频的技术,从视频中提取出语义、图形,识别视频中的物体角度、运动、变化,从而进行判断。

另一方面,从用户使用数据中造成用户画像描摹,感知用户的兴趣和潜在喜好。

从而把适合的内容推送给潜在的用户,实现精准分发。

而且不能忽略的是,由于深度学习对训练数据规模的依赖,所以目前快手的海量用户规模和行为,也在帮助快手的AI日夜进行迭代和提升。

数据越大,AI越好;AI越好,用户体验也会相应提升。

对于AI公司来说,这至关重要。

AI公司快手

不过,“千人千面”的AI推送已经见怪不怪了。

而且这也只是AI公司快手的森林一叶。

在快手,不仅仅是推送环节,整个短视频的制作、识别、推送过程,都与AI息息相关。

在内容生产环节,各类AI技术识别场景,让用户记录更有趣的生活场景,创造丰富的玩法,提升趣味性。

同时根据场景帮助用户选择最合适的滤镜,提升视频效果。

之后,运用视频解析,让机器高效的看懂、理解视频,让机器对用户有深度的认知和理解。

最后到匹配环节,机器基于对视频内容和用户喜好的理解,智能分发视频内容。

毫无疑问,AI驱动也是快手快速崛起的核心原因。

快手目前已有7亿用户、50亿视频。可以说,从短视频创作,到呈现在目标用户眼前,整个过程都有AI深度参与。

快手Y-Lab也正在变得越来越繁忙。快手方面称,需要更多的AI专家,越多越好…

招聘页面上,从深度学习、推荐技术、搜索技术、计算机视觉、NLP、图形学、语音、三维人脸识别,到音视频算法等,AI方向无一不包,明确而紧迫。

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态

版权所有,未经授权不得以任何形式转载及使用,违者必究。