< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

50FPS、成本打掉70%,魔芯MoWorld把世界模型带进产业时代

华为联想都投了

允中 发自 凹非寺

量子位 | 公众号 QbitAI

过去一年,世界模型成为AI行业的热词。

真正的世界模型,不只是连续生成画面,而是能够理解空间、预测接下来的世界状态(next state)。

其中,实时性很重要,因为不管是机器人决策、还是游戏娱乐,>30FPS的帧率,才能被称之为“流畅”。

但是这一条件,绝大部分已有的世界模型都不满足。

近期,专注于4D世界模型研发和产业化的魔芯科技,联合浙江大学潘云鹤院士、华为等,正式发布:首个全栈基于国产NPU的实时交互世界模型MoWorld。

推理速度直接飙过50FPS,而部署成本却只有同规模GPU方案的30%。

技术报告已经发布,近期将开源权重和代码,并基于国产NPU超节点向公众提供服务。

项目主页:https://moxin-tech.github.io/moworld/

世界模型为什么一直做不到“实时”?

相比视频生成模型,世界模型最大的区别在于“实时交互”。

过去一段时间,世界模型更多停留在学术研究和实验阶段,从研究到产业,关注的重点不再只是“能不能生成”,而是“能不能实时交互、能不能稳定部署、能不能把成本降到可用区间”。

MoWorld正是基于这一背景推出,以服务产业实际应用为目标,魔芯团队和其战略股东华为团队开展了近一年的技术攻关,解决了诸多世界模型落地应用的关键问题。

MoWorld接收首帧、文本和相机轨迹作为条件,生成符合场景状态和控制输入的未来世界状态,并通过类似W/A/S/D的连续控制方式,支持用户在生成世界中进行实时交互,在国产NPU上实现最高>50FPS的推理,并且通过系统设计,实现极低的推理成本开支。

世界模型,第一次把成本打了下来

对于世界模型而言,生成效果只是第一步,真正决定能否落地的,是训练成本、推理效率以及实时交互能力

围绕这一目标,MoWorld从数据构建、模型训练到系统部署进行了全链路优化,在提升模型能力的同时,也让世界模型具备了更高的工程可用性。

首先是数据,与传统视频生成模型不同,世界模型训练不仅需要视频和文本,还需要相机轨迹、空间深度等三维信息,直接使用互联网视频远远不够。

为此,MoWorld基于多年的3D建模/4D建模研究,构建了一套可扩展的数据生产与治理体系,并通过几何一致性、轨迹精度、多视图稳定性等多维质量筛选,持续提升训练语料质量,为模型学习真实空间规律提供了可靠的数据基础,也降低了整体的训练开支。

为了让世界模型真正具备实时部署能力,MoWorld又针对训练、蒸馏和推理三个阶段进行了系统级优化。

训练阶段,结合国产NPU硬件特点,引入超密集注意力并行和长序列Token并行策略,有效缓解超长视频训练带来的显存压力,最终实现2000帧的超长训练和推理能力。

推理阶段,通过流水线执行、层级化序列并行以及动态混合精度量化等优化手段,使14B参数MoE世界模型在国产NPU平台实现最高50 FPS实时推理,推理成本仅为同规模GPU方案的30%

从高质量数据引擎构建,到长时程训练,再到低成本实时部署,MoWorld将世界模型从“能够生成”一步快进到“能够交互、能够部署”,为世界模型的大规模产业化应用提供了一条兼顾性能与效率的魔芯路径。

近期,MoWorld将基于国产NPU超节点,对外开放并提供服务。

MoWorld,国产世界模型引领产业应用

基于实时交互世界模型能力,MoWorld正在从“技术验证”走向多行业多场景空间智能基础设施。

在不同应用场景中,不局限于视频生成能力本身,而作为一个可控的“空间模拟引擎”,为行业提供可交互、可推演同时兼具经济性的场景生成能力。

游戏与互动娱乐:实时交互,自由探索

MoWorld支持完整的6自由度相机控制,用户通过W/A/S/D和鼠标即可实现影视级和游戏级的沉浸式漫游。

场景真实、高清,支持1080P及以上分辨率。

无论是自然风光、二次元还是游戏动漫,均全面完成支持。

具身智能与自动驾驶:虚拟训练,真实验证

世界模型已成为连接生成式AI与具身智能的关键桥梁。

MoWorld可为机器人、自动驾驶系统提供低成本、高保真的“数字演练场”,是行业兼具仿真价值和经济价值的最具潜力的世界模拟器,能够为所有的智驾团队提供大量且高精度的环境,让AI在虚拟世界中学习如何与现实物理环境交互。

影视创作:导演运镜,实时预演

传统影视分镜需要漫长的渲染周期。

MoWorld让创作者可以在生成的虚拟世界中自由调整视角、实时预览画面效果、精准编辑镜头画面,镜头控制丝滑,支持超越想象力的导演级运镜。

数字孪生与三维重建:空间重建,精准还原

MoWorld生成的视频具有超越行业的几何一致性,可直接用于室内场景的三维重建——

精度高、结构稳定、空间一致性好是MoWorld区别于同行的显著效果。

这为数字孪生、建筑可视化、虚拟展厅、沉浸式游戏等场景提供了兼具高精度和性价比的解决方案。

亿元美金砸向魔芯科技:谁在定义下一代空间智能?

大语言模型和视频生成模型的竞争格局已经清晰,但世界模型还没有。

全球范围内没有公认的领先者,工程化落地路径各家仍在摸索,行业标准也未形成。

对于国产团队来说,这是一个少见的窗口。

起点上的差距几乎为零,不仅有机会参与竞争,还有机会参与定义下一代空间智能的技术标准。

MoWorld在这个窗口期交出的答卷,是第一个用纯国产NPU跑通训推全栈闭环,第一个把实时交互推理做到50FPS以上,同时把推理成本压到同规模GPU方案的30%。

资本的判断来得比行业共识更快。魔芯科技近期完成亿元美金融资,由头部美元机构、国家战略储备基金和十余家产业资本共同参与。

更早之前,魔芯曾获得华为旗下哈勃投资、联想旗下联融志道等基金的投资。

窗口不会一直开着。世界模型的标准由谁来定,接下来很快就会有答案。

版权所有,未经授权不得以任何形式转载及使用,违者必究。