看完阿逗比年度炫技大会,我什么都不敢信了
栗子 乾明 鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
一年一度,阿逗比(Adobe)又来炫技了。
许多魔法,曾经只在论文里出现,没有给麻瓜玩耍的通道,如今都能一键解锁。
比如,一键调整太阳位置,想让它从哪升起,它就从哪升起:
比如,一键把视频里人物的姿势,转移到卡通形象的身上:
不止图像和视频可以修,Adobe还发布了炸裂的纯音频调教技能,加起来一共有11种魔法。
那么一起来看看吧。
加入音轨,画中人一键对口型
看这张梵高自画像,有一丝严肃,又有一丝欲言又止。
让我们来听听他想说什么。
△有声音的视频在这里
Historial paintings in other art work from centuries ago can be animated with just my voice.
仅凭我的声音,就能让几个世纪前的其他艺术作品动起来。
是的,有了这个名叫Sweet Talk的功能,只要加入一段语音,无论是图片、照片,还是经典画作,原本静止的画中人都能自动对上口型,动起来。
不仅是嘴巴动,眼睛鼻子甚至整个头部,都因这一句话而被赋予了自然的动态。
哪怕只是简笔画,也不在话下。
感觉可以突破次元壁,跟二次元老婆直接聊天了呢……
你怎么动,它就怎么动
这是另一项穿破次元壁的技能。
从前,你想按照一段视频去做动画,每一帧都要手动调姿势:
如果视频有10分钟,一分钟60秒,每秒20几帧,那真的太累了。
但现在,Adobe自家研发的AI引擎Adobe Sensei可以帮你把视频里的动作,一口气迁移到动画里去。
只要在一帧里面,把主角圈起来,AI就会标记出全身的18个关键点。然后,整个视频里主角的运动轨迹,AI就都追踪到了:
把这18个关键点的追踪结果,和动画形象身上的部位对应起来,就可以让它瞬间复刻视频里的动作:
不用再一帧一帧修改姿势,可以节省不少时间。
另外,这个技能的用法还有很多,也不一定要把18个点都用到。
比如,只用右手腕上那一个点,就可以把幕布切开,进入下一个场景:
这是一个篮球场,所以当然是让卡通人来打篮球:
但由于研究人员Jimei Yang自觉篮球技能不足,决定拉主持人来垫背 (注意右下角,动作是研究人员做的) :
没投中,生气了,开始燃烧了。背后的火光,也是靠动作追踪来实现的。
对此,主持人表示可以:
素描一键变照片
随手画出一只鸟的轮廓,再配上任意一张真鸟的照片,Image Tango这个功能就能一键生成一只全新的飞鸟。
毫无违和感,就像真实的镜头记录下的照片。不事先说明,谁能想到,世界上其实并不存在这样一只漂亮小鸟呢?
这一功能依赖于Adobe Sensei来实现,并且不仅仅是把纹理填进新的轮廓当中,Image Tango还能创造出更多不同的姿态。
不止可以创造“新物种”,Image Tango说不定还将成为电商福音。
比如,你喜欢这条裙子的剪裁,但又希望它有另一件衣服的花色,就把两件衣服的照片都丢给Image Tango:
感觉可以直接把新衣服丢进购物车了~
神奇字体,iPad动字也变
设计当中,当然少不了花式字体。这一次,Adobe又带来了“拯救设计师”系列。
这些炫酷的字体效果,都只要打开parameters开关,调节几个拉杆,就能轻松实现。
甚至,能借助iPad的加速计和陀螺仪,当iPad晃动起来,字体也跟着摇摆。
创作简单了不止一点点。
照片光线随心变
上午在一个小城旅行,下午就走了,拍不到夕阳西下的样子怎么办?
不要紧,只要把照片发进去,再用滑块调整一下阳光的位置,一整天的样子都可以解锁。
这是调水平方向:
这是在调高度角,中午就在头顶,傍晚就在地平线上:
以我之名,想让太阳从哪里升起,它就从哪里升起。
把太阳的位置调得越来越靠近地平线,建筑物的色彩也越暗淡,获得太阳落山的渐变效果。
所有的影子,都是AI自动生成的。
那么问题来了,要生成逼真的影子,AI必须知道物体的3D形状,只用一张正面图不够吧?
所以,这里用了多个角度的照片,帮算法了解物体的形状。
这样说来,AI不止能修图,修视频才更加得天独厚。不同的帧,就拍下了不同的角度,可以直接拿来用:
就算是10秒之内拍出的视频,也能做出一天的光线变化了:
那么,如果去旅行的时候,没有想到要拍那么多角度的照片,怎么办呢?
AI会帮你搜索别人拍过的图像,从那里学到3D形状。
所以,就算你只有早上的一张照片,也能看到黄昏时的小城了:
一键去除背景噪音
有时候,明明感觉在安静的环境里录音,却录到了嘈杂的背景音。
那么,用Sensei自带的Awesomize一键去除吧。轰轰的杂音不见了,清晰的声音娓娓道来,讲起故事更加丝滑了。视频演示在这里:
这段视频里,还有第二个例子。研究人员Zeyu Jin在一个会议室里面,练习自己的演讲。讲到一半,却发现有人订了房间。
于是,他又去到了一个不那么安静的地方,继续练习。但这样得到了录音,可以听出是在不同的地方录下的。
这时候,依然是用Awesomize一键修整,电话的声音不见了,办公场所劳碌的声音也不见了,就像从来没有离开过安静的会议室。
整个清理过程,完全不用手动标注哪些波形需要去除,都靠AI的自觉。
一键识别删除特定声音
但有些时候,你不想听到的不仅仅只是背景噪音。
讲话时,有的人可能会因为紧张等缘故,呃,说两句就会有个“呃”。
这是很常见的情况。呃。
如果一场讲话两小时,里面都是“呃”,啥感觉?
但有了SoundSeek的功能,只需要选中其中一个“呃”的波形,点击分析,AI就会帮你找出全部的“呃” (下图红色波峰) 。再来一键移除:
整段音频里,所有的“呃”都不见了!
下面的视频,详细展示了这项技能的奇效:
在给自己妈妈录生日祝福的时候,旁边讨厌的司机一直摁喇叭,结果整个音频中都是鸣笛声。
同样,只要选择其中一声,就能把所有鸣笛声都干掉。
快速AR创作
↑↑↑
在视频里加入这样的AR效果,需要几个步骤?
Pronto这个项目,旨在让这件事变得更加简单便捷。
首先,录制一段视频。
Pronto可以在iPad的屏幕里,显示平板的位置移动。
当你在空间里选定一个位置,轻轻一点,就会出现一个画板 (蓝色网格) ,让你在选好的地方画画了。手绘一个“Hi!”,再设置好时间。
只要时间一到,小蛋糕会跟你打招呼,对话气泡就像真实存在在物理空间中一样:
就算不手绘,加入已有的素材,一样没什么问题。如果想要再添加一些动作,比如实现上面那个拉开条幅的效果,在关键帧点击一下左侧的Enact键,设置一下就可以了。
不怕没人帮忙拍合影
节假日和家人一起出去玩,要是没有热心路人帮忙拍照,就总有一个人不能在合影里面。
这个名为AllinSneak的功能,直击这个痛点。
Adobe的工程师小姐姐有个烦恼:和家人一起出去玩,拍照片时自己和丈夫总是不能同框。
怎么办呢?几行代码就能搞定。
基于人工智能的算法能够自动识别相同的场景中,合影中少了谁,就把她抠出来:
接着P到合影中去。
一家人整整齐齐。
不需要人趴在电脑屏幕前,一点点描边抠图,非常简单。
人人都是艺术家
从前,艺术家们操纵光影的技法,普通人类难以企及:
不过现在,有了一只能让每个人都变成艺术家的AI。
第一步,画个长方形做背景,把它放到AI的光影世界里,就会先变成黑色,因为还没加光源。
要让暗黑的背景亮起来,就在前面画个灯箱。灯箱原本是普通的白色长方形,但只要一键让它发光,就能照亮黑暗:
当然,如果只是有光,也会显得有些单调。
那么,我们画一道波浪线吧。一键往波浪线身后加上黑色渐变,线条就会成为一道缝隙,让来自地底黑暗世界的气息,从缝里喷薄而上:
以上,只是最初步的演示,下面来给一幅画加上光影吧。
一只热气球飞在云层里,原本并不知道光从哪边来:
所有的颜色都平铺直叙,这不是我们想要的。
想要明暗变化,就在左边和上边,放两条光源:
左上角比右下角亮了许多。
如果想把光线改个方向,只要移动蓝色线条的位置,就是移动光源了。
有了这些,每个人都可以做出绚烂的设计。
不信的话,来看个一分钟内做完的“毕设”:
中间,是研究人员Jakub Fiser自己的剪影,可以陶醉一整天。
“反向PS”利器,一秒回到P图前
一键识别PS痕迹,还能一键还原P图前是什么样子。
这不是砸自家场子吗?
演示的小哥哥,拿着主持人的照片,现场展示了从P图到识别,再到还原的全过程。
先把眼睛放大:
然后把嘴角上扬,哈哈哈哈:
把P过的图交给AI鉴定,得出结论:100%修过。
不止如此,热力图还可以显示P过哪里:
能够检测P图,已经够让人心累了。更惨烈的是,能够一键回到P图前:
这复原效果,和原图几乎无差。
至于其中具体的原理,我们曾进行过论文解读,传送门在这:
一秒回到P图前:Adobe发布“反向PS”利器,知道你修过哪里,还帮你修回去
看完这些功能,不知道你是啥感觉,反正我们办公室有个小编,嘴里就只剩“卧槽”了。
Adobe说,在不远的将来,这些功能可能会出现在Adobe全家桶里面,可能是作为新增功能,也可能会推出新的产品。
比如去年MAX大会上的这个AI剪片,画面自动跟着主角跑的技术,今年就正式在Pr(Premiere Pro)上登陆了。
所以,你期待吗?
最后,推荐大家去看完整炫技现场视频:
https://bit.ly/32qLGVz
— 完 —
- 低成本机器人“皮肤”登上Nature子刊:实现三维力的自解耦,来自法国国家科学研究中心&香港大学2024-11-23
- OpenAI重夺竞技场第一,但这波靠的是4o2024-11-21
- Qwen2.5更新百万超长上下文,推理速度4.3倍加速,网友:RAG要过时了2024-11-19
- 0元起步打造你的AI搜索!实测秘塔知识库新功能,竟能指导我升职加薪了2024-11-11