“Sora概念股”一片红!最新视频再上强度,有人都开始复现了
网友:只想拥有访问权限
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
果然,所谓“Sora概念股”在龙年首个交易日一片红了。
甚至其中不少公司,去年同一时间也被算在ChatGPT概念股里面……
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/e63693e77faf6418749165143f315e6b.png)
而主角Sora在持续刷屏72小时后,势头依然不减,还有新能力被不断发掘出来。
比如这段“寄居蟹用灯泡当外壳的夜间场面”。
海浪与沙滩的互动非常细腻,寄居蟹腿上的纤毛也活灵活现。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/47e9cc151163d25ad41e49d3db31d394.gif)
对比真实拍摄的类似场景照片,也就灯泡没有电源不应该亮这一个明显破绽了。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/45a96ed287e86568182de5868769cf31.jpeg)
所以说,Sora到底算不算理解了世界、掌握了物理规律还有争议。
但说它理解了《我的世界》恐怕没人有意见。
这段“《我的世界》最华丽8K高清材质包”,连游戏的UI都准确且保持稳定,也揭示了训练数据中很可能包含大量游戏画面。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/6bbb7aaff9726593c708d2f9db0bfca0.gif)
当生成纯现实场景时,“小猫在大雨中的后街寻找遮蔽物”让Sora开发领队Tim Brooks直呼“快来个人收养它”。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/5f49ac513b8005ec706f2b1057ea00fb.gif)
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/4e6a919e52f2308e536c67312aa9ae2a.png)
内测已经三天,Sora还在不断带给人们新的惊喜。
现在网友们只想拥有一件事,那就是Sora访问权限。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/ae76e0127aacafe211d49af8e21e2c4d.png)
与此同时,经过第一波震撼之后的科技圈各方势力也逐渐缓过劲来,纷纷围绕Sora展开了自己的行动。
终成圈内外顶流
马斯克是最坐不住的。
一边抱怨自己出钱创办的OpenAI从开源,转向盈利。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/5433a30715d3c35aeb957724155f350f.png)
一边晒特斯拉一年前就可以精准模拟自动驾驶环境的视频了:
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/27ec82425d39beb2f4ddfe569d0a73a6.png)
展示中,特斯拉可以模拟各种驾驶环境,比如给出直行的指令,模型就能自动生成模拟汽车直行的视频:
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/7fe59f2a2385fcdf26f49e4cb6bc65b5.gif)
同为AI生成视频的Pika也迅速跟进,紧急推出“文本一致性”参数设置功能,可以让Pika更贴近prompt或者是更有创意:
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/e250cacd8c3cfc662eb511aa51248c5d.gif)
不出所料,有网友就评论了“什么时候会针对Sora推出新版本”:
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/797cc6fa9d534822a961112dba150a8e.png)
对于这个问题,Pika创始人郭文景最近也在接受钛媒体采访时表示“已经在筹备直接冲,将直接对标Sora”,不过具体计划暂时还未透露。
此外,音频这边也赶紧跟进了一波,给Sora生成的视频配音!
之前爆火的AI语音合成初创公司Elevenlabs就做了一段视频。
这段音频基于文本提示,但其实应该是同时作用于文本和视频,若要学习精确的视频到音频的映射,还需在潜在空间中模拟一些隐式的物理定律。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/7f7b72c4960c013a9b1708b1c50ef28d.png)
更具体一点,要在视频的基础上直接配音,Jim Fan认为end2end transformer必须要关注以下几点问题:
识别每个物体的类型、材质和空间位置;理解物体之间复杂的相互作用;识别环境;从模型的内部存储器中检索物体和周围环境的典型声音模式;运用物理定律来组合和调整声音模式的参数,甚至可以即时合成全新的参数;在复杂场景中,模型需要根据空间位置叠加多个音轨。
国内大伙对Sora的讨论也非常热烈。
框架大神贾扬清用5个字总结了Sora——“真的非常牛”,他还从不同角度给出了4点短评:
- 对标OpenAI的公司有一大波被其他大厂fomo收购的机会;
- 长线闭源寡头,开源还需要一段时间才catch up;
- 从算法小厂的角度,要不就算法上媲美OpenAI,要不就垂直领域深耕应用,要不就开源;
- infra的需求继续会猛增。
360集团创始人周鸿祎这次对AGI的看法来了个180度大转变:
人类对AGI的突破,可能就剩下最后一步了。
他在小红书发布了一段视频,认为“Sora生成视频堪比CG”。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/0950394f12840309a1ec73b68805a5ee.png)
除对Sora的效果感到惊讶外,周鸿祎还猜测Sora背后技术关键有三:
- 并不是使用传统的3D建模然后再进行渲染,应该还是通过大量训练模拟了人类观察世界、描绘世界、表现世界的能力;
- Sora的训练输入,不仅包含大量视频电影的数据,Sora不仅能解读出画面中有什么元素,还能理解物理定律;
- OpenAI应该自己产生了很多3D内容,利用3D模型将物理知识输入给Sora。
还有其他网友爆出MSRA前资深研究员梅涛对Sora的看法,其中就讲到Sora是一个里程碑式的技术进步。
不过他认为Sora要实现商业化还需要解决可控性、Prompt的挑战,“如果说实现商业化需要做到100分(60分技术+40分场景),以往人工能做到90分,Sora的出现只解决了那60分,甚至到75分”。
值得一提的是,学术界这边,有消息透露有人已经开始组队复现Sora了:
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/8d95b97e12b67b0e23f3fba3f8b7a023.jpeg)
One More Thing
关于Sora这个名字的含义,它不像GPT代表“生成式预训练Transformer”一样是技术名词的缩写。
大家纷纷猜测来自日语“空”的发音,ChatGPT账号也用一首歌名给出相关暗示。
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/6643287f34b2ba0a70bcb9a214697268.png)
那么Sora到底什么时候能玩上呢?
有网友预测,如果按照DALL·E3的发布节奏,2月25日和3月16日附近,值得期待~
![“Sora概念股”一片红!最新视频再上强度,有人都开始复现了](/wp-content/uploads/replace/19e9f16e91e8ba33b64a430ec959c8b4.png)
参考链接:
[1]https://twitter.com/_tim_brooks/status/1759128729908085199
[2]https://twitter.com/DrJimFan/status/1759287778268025177
[3]https://twitter.com/model_mechanic/status/1759343673484165262
- 打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制,一口气解答8大问题2024-07-26
- 谷歌AI拿下IMO银牌,仅差一分得金!第四题仅用时19秒2024-07-26
- 港大马毅:大模型长期没有理论就像盲人摸象;大佬齐聚谈AI下一步2024-07-24
- 贾扬清共一论文获ICML时间检验奖:首个开源版AlexNet,著名框架Caffe前身,最佳论文奖也已公布2024-07-24