19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

给莫高窟一点小小的游戏科技创新

允中 发自 凹非寺
量子位 | 公众号 QbitAI

ChatGPT的热搜热议已经无处不在,人类的科技进程,在AlphaGo之后又一次被按下了加速键。

而有意思的是,无论是当下爆火的ChatGPT,还是曾经的AlphaGo,它们实现关键突破的背后,都有游戏的影子。

在人工智能研究公司OpenAI把强化学习用于GPT之前,他们在DOTA团战里“训练”。

Google旗下前沿人工智能企业DeepMind也一样,AlphaG的围棋游戏挑战是一个训练场,AlphaStar挑战星际争霸2职业选手也是一个训练场。

游戏具备的人机交互、海量数据、任务类型多样化和解题难易度等特性,恰好能成为评估AI算法的关键指标。

不止于AI,游戏作为汇集前沿技术的“超级数字场景”,其科技能力正在逐渐显现、并运用到更多领域,比如世界文化遗产——敦煌莫高窟的藏经洞。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

技术+学术+美术,“数字藏经洞”来了

就在五一来临之际,一款名为“数字藏经洞”的全新文博产品上线。

作为全球首个基于游戏科技打造的“超时空参与式博物馆”,“数字藏经洞”不仅应用数字照扫、三维重建技术等游戏技术1:1高精度数字化复现了莫高窟最传奇洞窟藏经洞及其文物,还以游戏交互模式,配以中国风现代工笔画风格,虚实相融展现敦煌千年东方历史,打造了沉浸式互动的全新文博体验。

此外,数字藏经洞以云游戏产品形式承载超36GB庞大的数字资产,由此打造了一个场景展示堪称写实级别、沉浸式交互效果拉满的全新文博黑科技产品。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

藏经洞,文博“弄潮儿”

有“打开世界中世纪历史的钥匙”之称的藏经洞是敦煌莫高窟最传奇洞窟,出土的文物多达6万余件,是20世纪中国古文献的四大发现之一。

常看到“一别两宽”这个俗语,但很多人并不知道,这句话其实就出自于藏经洞里唐朝男女的“离婚协议书”——《放妻书》。

唐初天文学家李淳风的《全天星图》也是藏经洞的“存储数据”之一,没有望远镜,却依然以肉眼追寻太空,描绘出目前世界上最古老、星星数目最多的星图。

普通人平凡生活里的繁复琐碎和追仰宇宙的浪漫,都被存储在藏经洞这个“U盘”里。

然而,后因种种原因,藏经洞绝大部分文物不幸流散到世界各地,仅剩下少部分留存于国内。

如今,已无法在真实的物理空间再看到典藏着文物的藏经洞盛况,同时也因为藏经洞存在文物体量大、文本难理解等客观原因,为大众了解其深厚的文化底蕴和文化价值架上了较高门槛。

不可亲近的文物旨待被了解,蒙沙朦胧千年的敦煌渴望被不侵扰、不破坏地走进,人类千年群星的闪耀和叹息该如何被看见、被听到?

由国家文物局指导,由敦煌研究院和腾讯联合推出的“数字藏经洞”以云游戏形式呈现4K影视级画质的藏经洞,通过沉浸式的游戏互动让用户“亲身”参与历史。只需要一个微信小程序,用户即可随时随地一键“穿越”千年敦煌。

游戏科技+文博,超时空参与式“逛展”

揭秘“数字藏经洞”背后的游戏科技,可以总结为“高精复现”、“ 沉浸互动”和“一触即达”。

先来看“高精复现”的实现方法,本质上是运用游戏和影视中的数字照扫能力,以及游戏引擎的三维建模、PBR技术(基于物理的渲染技术)和全局动态光照功能。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

“数字藏经洞”首次在数字世界毫米级1:1复刻莫高窟三层楼。而作为17窟的藏经洞,窟内壁画、塑像和文物细节都被高度还原至写实拍摄效果,细致至色彩、材质甚至是浴历千年时光的岁月痕迹,为用户打造超拟真文博体验。

而这“实”景中高精度复刻的效果,究竟是如何实现的呢?

这一次,制作团队渲染了超过3万张不同角度的图片,“数字藏经洞”在数字照扫的基础上,配合三维建模技术生成了超9亿面的超拟真数字模型(这里的9亿指的是3D建模中的面片数量,越多建模越精细)。

其中,首次对敦研001号《归义军衙府酒破历》等21件文物进行4k高清文物数字修复和3D建模。

此外,技术团队还尝试完整复现百年前室藏6万余卷珍贵文物自然状态下的藏经洞盛景。这是自藏经洞部分文物流散后,一次前所未有的全新尝试。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

同时,通过游戏引擎PBR技术(Physically-Based Rendering,基于物理的渲染过程)和全局动态光照功能模拟现实光景,“数字藏经洞”不仅还原了室外早晨10点阳光照耀敦煌莫高窟的视觉效果,还创造性地在窟内设置“开灯”观赏模式,将原本昏暗的甬道、历经千年时光淬炼的壁画、告身碑逐一照亮。

为什么PBR技术和全局动态光照技术能做到如此逼真地还原莫高窟视觉效果?

首先,PBR相当于给虚拟物体披上一层符合物理材质、反射等性质的“皮”,这样被虚拟光照到时,它就能模拟出接近真实材质的效果,如让金属材质的球反光、以及让粗糙石制的雕像呈现出凹凸不平的磨砂感等。

然后,还需要基于全局光照给虚拟世界模拟出接近现实世界自然光的效果。

这是因为现实世界的自然光由无数光线的反射和折射形成,然而计算机在模拟光照时难以模拟出所有光源和反射折射效果,容易出现与现实世界的光影差异。

这样,哪怕在实地游览无法“见光”观赏的文物,“数字藏经洞”内也能为用户“高光”打亮,“游客”们能获得不同于实地游览的全新体验,洞窟内的雕塑和壁画也不再朦胧。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

而游览行进过程中出现的路标指引和提示“光球”等文物展开特效和多媒体讲解,则基于游戏引擎中的粒子系统实现,为每一位“博物馆游客”提供最详细、最生动的引导服务。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

接下来则是游戏理念的借鉴,让“数字藏经洞”具备了“沉浸交互”能力。

回顾历史,藏经洞的故事跌宕起伏,甚至很有戏剧张力。要想让用户对这段历史产生兴趣,也许游戏式的闯关、解谜、激励等等交互模式,会更好引发大众的好奇心和参与感。

因此,在敦煌研究院的学术指导下,腾讯游戏CROS团队以《归义军衙府酒破历》为故事主线展开叙事,让用户一键“穿越”晚唐、北宋、清末等历史朝代,深入“参与”洞窟开凿、封藏万卷、重现于世、文物流散到再次聚首的全历程。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

而这里主要涉及两方面的游戏技术。

一是人物交互更自然的角色形象生成。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

敦煌当时首屈一指的僧统洪辩、洞窟发现者王道士等敦煌历史真实人物,都成为了这千年历史里的互动NPC。

通过运用游戏中常见的动作捕捉技术,洪辩自然地面对面向你交付“寻宝”任务;洞窟发现者王道士的惆怅和无奈,也在AI面部动画生成技术和提取语音表征信息技术加持下,更显惋惜。

另一方面则需要用到游戏化机制来让故事紧扣心弦。

藏经洞涉及大量文物、历史等学术内容,如果仅以展览的形式单方面传播,可能难以在短时间内让大众吸收消化。

因此,“数字藏经洞”通过RPG角色扮演的形式设置剧情流程,通过背包、地图、手记等方式设置交互模式,并提供自由探索等成就模式,原本严谨的历史成为游戏剧情、知识点成为解锁成就,这一次文博体验更加低门槛、更直接、更沉浸。

19m³藏6万多件文物,他们用游戏技术做了个4维藏经洞,能穿越时空的那种

而为呈现以上写实级别的场景展示和沉浸式交互效果,“数字藏经洞”的资产超36GB。将这一切做到只需小程序就能“一触即达”,本质上依旧离不开游戏科技——云游戏技术

这项由腾讯自研的技术,将渲染和运算转移到云端。

用户通过小程序一键接入,突破设备、时空、人流限制,既能实时看清藏经洞的高清渲染效果,同时又能快速做出操作反应等能力。

云游戏技术不仅解决了移动端硬件性能瓶颈的问题,而且画质也超出了市面上手游的平均体验。

游戏科技,数字文博进阶的“新利器”

事实上,在打造“数字藏经洞”之前,腾讯游戏CROS团队通过游戏科技+文博的形式,还打造了“数字长城”,是全球首个最大规模人类文化遗产的沉浸互动式数字化还原项目,以毫米级精度1:1还原出了万里长城的壮阔景象。

从“数字长城”到“数字藏经洞”,游戏科技进一步掀起了数字文保领域的变革浪潮。

最初,游戏科技用于高精度还原数字场景,让文物遗址能“永久保存其中”;

而“数字藏经洞”的出现,为文博领域提供了全新的解决方案,数字文保不再满足于“保存”,在游戏科技的加持下,开启了数字展陈的全新形态。

游戏科技所天然具备的高度创新基因和活力,成为了先进技术诞生的天然沃土和应用场景试验田。而在虚拟和现实不断融合的未来,游戏科技更广泛的外溢成为了可预见的必然。

以3D建模、实时渲染、动作捕捉、物理模拟为代表的游戏技术凭借丰富的场景适应能力,逐步开始创新应用于数字文保、工业和自动化、自动驾驶、智慧城市、数字医疗等诸多领域,为各领域提供更高效的数字化解决方案,成为拥有更多可能的“超级数字场景”。

游戏科技边界的无限,不再是想象。

值得一提的是,“数字藏经洞”小程序,目前已经上线。

想要体验一键时空“穿越”的小伙伴们,可以搜小程序“云游敦煌”体验~

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关阅读