< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

美国AI音乐巨头进军视频生成,底层模型来自中国MiniMax

美国AI音乐平台Suno宣布推出视觉创作工具Visuals

近期,美国AI音乐平台Suno宣布推出视觉创作工具Visuals,将视频和图像生成引入音乐创作流程。Suno官方披露,Visuals采用的模型名为H3 Move,基于中国AI公司MiniMax的开源视频模型H3打造,并针对音乐创作场景调优。

Suno首席产品官Jack Brody表示,Suno团队使用自己的数据对这一开源模型进行了优化,使其更适合音乐视频制作。MiniMax H3提供底层模型基础,Suno则在此基础上进行音乐场景适配和产品整合,将歌曲创作、画面生成与人物口型同步纳入同一创作流程。

据Suno介绍,Visuals生成的视频能够呼应歌曲结构和歌词,并支持演唱口型同步。用户可以选择平台提供的原创角色,或上传参考图片,结合音乐和文字提示生成最长15秒的视频片段,再通过时间轴延长、编排和编辑片段。此外,用户还可以制作歌词视频和专辑封面,自定义歌词字体与颜色,并根据发布需求选择画面比例。

视频创作一直是Suno产品拓展的方向,但过去生成速度较慢、成本较高,限制了普通用户的使用。Brody表示,视频模型在速度、成本和质量上已具备向普通用户提供视频创作服务的条件。

作为H3 Move的基础模型,MiniMax H3于今年8月开放模型权重,支持企业和开发者在其基础上开展部署、微调和定制。H3能够统一理解文本、图像、视频和音频构成的上下文,生成带有原生立体声音频的视频,最高支持2K分辨率和15秒时长。

结合此次Suno的创新产品形态看,这类跨模态能力与音乐视频的创作需求天然契合。H3 Move呈现了基座视频模型与垂直应用结合的一种路径,以基础模型的多模态生成能力为支撑,再围绕音乐内容加入场景优化、编辑功能和内容保护机制。

Visuals采用独立的付费积分体系。视频和图片生成消耗Visual credits,与歌曲生成积分分开计费。

在内容保护方面,Suno表示,Visuals加入了文本与视觉过滤机制,针对特定艺人、公众人物形象及受版权保护内容设置限制,并将在生成内容对外分享前嵌入水印。据Suno官网披露,已有超过1亿人使用其平台创作音乐。

本文由MiniMax提供,量子位获授权转载,观点归原作者所有。

版权所有,未经授权不得以任何形式转载及使用,违者必究。