《三体》“宇宙闪烁”成真!免佩戴裸眼3D屏登Nature

26岁复旦博士生一作

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

《三体》中的“宇宙为你闪烁”,不再是科幻了。

最新登上Nature的显示屏EyeReal,无需佩戴眼镜就能把3D画面精准投射到你的眼中。

而且尺寸只有桌面显示器大小,成本也非常低廉,一块4090加上屏幕和游戏机传感器就能搞定。

图片

中国团队出品,一作还是一位26岁复旦在读博士生,上海人工智能实验室、上海创智学院联合培养。

无需佩戴实现裸眼3D

EyeReal技术实现了一种裸眼3D显示方案,观看视角的覆盖范围超过100度。

而且在这个范围内,你随便走动,画面都是连续顺滑的,不会像以前那种老设备一样,稍微一动脑袋画面就乱跳或者出现重影。

图片

长相上,它的大小和普通的24寸桌面显示器相当,但别小看这个尺寸,它的有效3D成像面积达到了0.1到0.2平方米,跟以前那种只能显示指甲盖大小的全息技术比起来,足足大了1000倍。

在立体感方面,它实现了真正的“全视差”显示,不仅支持左右看(水平),还支持上下看(垂直)和前后凑近了看(径向)这三个维度。

当你站起来或者把脸凑近屏幕时,画面里的物体会像真实模型一样,呈现出完全符合物理规律的几何透视变化。

而且,EyeReal还有个绝活叫“聚焦视差”,能模拟出人眼的景深效果。

简单说,就是当你盯着前景的物体看时,背景自然就变模糊了,反过来也一样。

这让眼睛的对焦动作和大脑的距离感知保持一致,解决了那种让人头晕恶心的辐辏调节冲突(VAC),也就是所谓的“晕3D”,所以看久了也不会觉得累或者晕。

图片

在实现这么多复杂效果的同时,它的画质一点没缩水,依然保持了1920×1080的高清分辨率,刷新率也超过了50Hz,画面非常流畅,完全能撑得起实时的动态内容。

图片

计算光学与AI深度融合

EyeReal技术本质上是一种深度融合了计算光学与人工智能的新型显示架构。它提出了一种名为动态空间-带宽积(SBP)利用的全新策略,通过主动控制光场,巧妙地突破了物理学的硬性限制。

以前的裸眼3D技术之所以很难同时做到“大屏幕”和“宽视角”,主要是被SBP的物理常数卡住了脖子,这个物理指标的总量是有限的,这意味着屏幕尺寸和观看视角通常是此消彼长的关系。

比如现有的全息显示技术,虽然视角连贯自然,但画面只能做到极小(通常仅厘米级);而常见的光栅式显示器虽然屏幕能做大,但观看视角却很窄,且画面往往不连续。

图片

EyeReal通过动态SBP利用策略破解了这个死局。

它的思路不再是试图在整个空荡荡的空间里重建光场,而是利用传感器实时锁定观察者的眼球位置,通过精密计算,将有限的光学信息“聚拢”起来,只精准地投射到你双眼注视的那个小范围内。

图片

为了实现这一精准投射,系统首先需要解决“几何对齐”的难题。

EyeReal建立了一套物理精确的双目几何建模系统,它把你的双眼想象成两台正对着光场中心的针孔相机,并计算出双眼在光场坐标系中的6D姿态矩阵(眼球的位置和朝向)。

这样就能在光场和你的视网膜之间建立起精确的对应关系。

图片

但是,因为人眼的位置和角度随时都在变,如果直接拿原始图像去算,计算量就太复杂了。

为了解决这个问题,系统引入了一个关键技术,叫“眼球几何编码”(Ocular Geometric Encoding)。

这招利用了逆向透视变换原理,根据算出来的眼睛姿态,把原本呈现在你视网膜上的目标图像,反向投影回那几层屏幕所在的平面上。

这个过程就像把随着视角乱变的复杂图像,统一转化成了一种标准化的、跟屏幕结构对齐的平面扭曲图像。

有了这种标准化的输入,后面的神经网络就不需要每次都重新学习几何关系,也能轻松应对位置和观看角度的变化。

图片

在硬件构成上,EyeReal采用了一种多层面板堆叠的结构,由三层普通的TFT-LCD液晶面板平行放置,层间距约为3厘米,配合背部的白光LED光源和前后的正交偏振片工作。

图片

系统中不包含微透镜阵列或空间光调制器等复杂光学元件。其核心的光学调制与图像合成完全依赖于一个轻量级的全卷积神经网络(FCN)驱动。

该网络采用类似U-Net的架构,包含下采样与上采样模块以及跳跃连接,以确保在处理图像时既能捕捉全局结构又能保留高频细节。

图片

AI模型接收经过几何编码的归一化图像作为输入,执行复杂的逆向渲染任务,计算出三层液晶面板上每一个像素点应具有的相位数值。

物理上,这一过程利用了马吕斯定律(Malus’s Law)对偏振光进行调制。

马吕斯定律是物理光学中描述偏振光强度变化的核心法则,光线最终穿过最后一层偏振片射出时的亮度,并不取决于某单层屏幕的遮挡,而是严格取决于光线在穿过所有层级后累积的相位总和。

具体而言,最终的光强与所有层相位之和的正弦平方成正比,这意味着,AI可以通过计算极其复杂的相位组合,让光线在经过层层接力旋转后,精准地以所需的亮度到达人眼视网膜。

Eyereal中,三层液晶面板置于正交的偏振片之间,当背部的白光穿过第一层偏振片后,会转变为振动方向单一的偏振光。

此时,液晶面板上的每一个像素点都不再仅仅是显示颜色的开关,而是被AI算法控制成为了一个微小的、可编程的相位延迟器。

光线依次穿过这三层屏幕时,液晶分子会根据指令对光线的振动方向进行特定角度的旋转。

图片

为了消除重影并确保左右眼看到的画面足够纯净,AI在训练过程中引入了结构化的光学损失函数,其中特别重要的一项被称为“互斥损失”(Mutual-Exclusion Loss)。

这套算法强制约束了光线的传播路径,属于左眼的信息在右眼的视角下必须保持“不可见”,反之亦然。

通过这种方式,各层屏幕的相位在物理层面实现了精密配合,从而自动抵消了信号串扰,精准合成了具有正确深度遮挡关系的立体光场。

作者简介

本文第一作者为复旦在读博士马炜杰,今年26岁,他是复旦大学、上海人工智能实验室、上海创智学院的联合专项博士生。

他的研究兴趣包括计算机视觉与图形学、虚拟/扩展现实以及用于科学(光学/物理/医学)的人工智能。

图片

他的导师是欧阳万里和钟翰森,二人在上海AI Lab均有任职,欧阳万里同时也是香港中文大学教授,钟翰森同时也是上海创智学院全时导师。

二人亦是论文的通讯作者。

此外,北航Zhangrui Zhao、浙江大学博士生赵灿宇也参与了论文工作。

图片

论文地址:
https://www.nature.com/articles/s41586-025-09752-y

版权所有,未经授权不得以任何形式转载及使用,违者必究。