ICRA 2026｜中兴开源RealMirror平台，以端到端仿真基座推动具身智能研发普惠化

具身智能的愿景是创造能够感知、理解并与物理世界进行互动的智能体，这一范式正在将人工智能从纯粹的抽象计算推向更接近人类的物理智能，而人形机器人的最新发展正将这一愿景变为现实。

然而，当前人形机器人VLA研究仍面临三重挑战：

数据采集成本高企：不同于大语言模型可利用互联网海量文本，具身智能必须依赖机器人与物理世界的交互数据，过程耗时、昂贵且存在安全风险；

缺乏统一评测基准：机器人评测依赖交互式迭代验证，无法使用离线数据，且缺乏针对人形机器人双臂协同、灵巧手操作等特性的标准化评测体系；

Sim2Real鸿沟显著：传统仿真器在视觉保真度、物理交互真实性上与现实存在差距，导致仿真训练的模型难以直接迁移到真实机器人。

针对这一难题，中兴通讯的研究团队（ZTE Terminators Team）在机器人顶会 ICRA 2026 上发表论文《RealMirror: A Comprehensive, Open-Source Vision-Language-Action Platform for Embodied AI》，提出了集“数据采集-模型训练-模型推理-自动化评测-零样本Sim2Real迁移”于一体的端到端具身VLA仿真基座平台。其核心贡献包括：

第一，构建了一个高效低成本的采数-训练-推理系统，无需真机即可完成端到端VLA研究。

第二，提出了一个专门针对人形机器人的VLA算法Benchmark，在多种场景、多种VLA算法上进行广泛的实验，并支持自动化评测，以加速算法研究和公平比较。

第三，使用 生成模型和3D Gaussian Splatting（3DGS）重建逼真的环境和机器人，减小Sim2Real的gap，无需任何真实世界数据的微调，仅用仿真数据训练的模型即可在真实机器人上丝滑地完成任务。

通过将这些关键特性整合在一起，RealMirror 提供了一个强大的具身仿真平台，将显著降低具身VLA的研发成本和时间。

RealMirror平台构成：

(a) 左上：基于VR遥操作、LeRobot训练框架与Isaac Sim构建的端到端数据采集-模型训练-仿真推理系统；

(b) 右上：面向人形机器人的VLA评测benchmark，涵盖多种场景任务与多种主流算法的自动化评测；

(c) 右下：通过3DGS与生成式模型实现高保真视觉重建，弥合仿真与现实的视觉鸿沟，实现无需真机数据微调的零样本Sim2Real迁移。

RealMirror相关工作开源后，受到开源平台大量关注，短期内收获github star 600+，120G的智元专有授权机器人模型、数字孪生场景、多架构预训练模型权重、原始训练数据等开源资产下载量达2400+。

三大核心贡献：构建端到端研发基座

1. 高效低成本采-训-推系统：无需真机即可完成端到端VLA研究

为降低数据获取门槛，RealMirror基于PICO VR头显构建轻量级遥操作系统，通过多级滤波机制（IK关节跳变过滤、末端位姿漂移补偿、跨帧阈值过滤等）确保动作平滑性，并优化WebXR通信框架，将端到端延迟显著降低，实现高频数据传输，保障了遥操作的实时响应能力。

上图：（左）基于手柄的VR遥操作数据采集。系统实现低延迟响应，操作者动作可被机器人精准复现，为高质量轨迹采集提供基础。（右）基于手势识别的精细遥操作。除手柄外，平台亦支持手势遥操模式，可用于需要高精度控制的操作场景。

通过与LeRobot训练框架及Isaac Sim推理环境的深度集成，RealMirror打通了从数据采集、模型训练到仿真推理的完整pipeline。研究者无需购置真机，即可在统一环境中完成VLA算法的端到端验证与迭代。

上图：代表性下游任务推理过程

2. 人形机器人VLA Benchmark：1000+轨迹 覆盖5大场景 5大核心技能

为推动算法研究的标准化与可复现性，RealMirror构建了面向人形机器人的开源VLA基准，涵盖5类典型任务场景（厨房清理、空气炸锅操作、流水线分拣、杯间倾倒、易拉罐堆叠），累计提供1200条高质量仿真轨迹，考察能力覆盖双臂协同、精密操作、动态抓取等核心技能维度。平台支持ACT、Diffusion Policy、SmolVLA等主流算法的自动化评测，并引入”任务成功率”与”技能能力分布”双视角评估模型能力，帮助研究者从宏观任务表现与微观能力构成两个层面诊断模型性能。

上表：Benchmark任务场景与核心技能映射

上表：各VLA模型任务成功率（%）对比（每项任务最优结果加粗标出）

3. 零样本Sim2Real迁移：3DGS重构打通仿真与现实的最后一公里

为弥合视觉域的Sim2Real Gap，RealMirror采用差异化重建策略：

静态环境：通过3D Gaussian Splatting（3DGS）从多视角视频重建高保真背景；

机器人本体：对真实机器人进行3DGS扫描并分段刚性配准至USD模型，为物理精确的骨架”披上”photorealistic外观；

交互物体：高精度物体采用CAD模型+3DGS视觉叠加，低精度物体通过腾讯混元大模型快速生成3D资产。

上图：传统仿真 vs RealMirror重建 vs 真实场景对比。RealMirror重建的仿真画面在视觉保真度上显著优于传统渲染，且接近于真实场景的视觉效果。

RealMirror重建的仿真画面视觉逼真，这为zero shot sim2real提供了基础。在该高保真仿真环境中训练的VLA模型，无需任何真实数据微调，即可直接部署到真实人形机器人上执行任务。实验结果表明，模型在基础抓取任务上达到了92.86%成功率，在复杂双臂球体转移任务中也取得71.43%的成功率，验证了所提出方法的有效性。

下面展示了仿真训仿真推（Sim2Sim）和仿真训真机推（Zero Shot Sim2Real）的效果对比

上图：Sim2Sim与Zero-shot Sim2Real效果对比。图中上行为仿真环境内推理（Sim2Sim），下行为同一模型直接部署至真机执行（Zero shot Sim2Real）。动作流畅性与任务完成度高度一致，验证了零样本迁移的可行性。

“我们观察到，许多团队因缺乏真机而无法开展研究，而拥有真机的团队又陷入‘采集-训练-部署-失败-再采集’的循环。” 谈到平台初衷，论文团队表示，“RealMirror的核心目标，是让具身智能研究可以在纯仿真环境中完成全流程闭环，让高校实验室、初创公司、广大机器人爱好者 无需购置百万级人形机器人，也能开展前沿具身智能研究。”

随着人形机器人从“实验室演示”走向“规模化落地”，降低算法研发成本已成为产业共识。RealMirror通过端到端仿真基座的构建，为人形机器人研究提供了可复制、可扩展的技术路径，或将成为推动具身智能“研发普惠化”的关键基础设施。

RealMirror论文：https://arxiv.org/abs/2509.14687

MirrorLimb论文：https://arxiv.org/abs/2511.08865

项目网页：https://terminators2025.github.io/RealMirror.github.io

开源代码：https://github.com/terminators2025/RealMirror

开源数原始据集：https://huggingface.co/datasets/zte-terminators/realmirror-datasets

开源附加数据集：https://huggingface.co/datasets/zte-terminators/realmirror-extra-datasets

多架构预训练模型权重：https://huggingface.co/zte-terminators/realmirror-model-ckpt

场景及机器人资产：https://huggingface.co/datasets/zte-terminators/realmirror-asset

来源：中兴通讯