RLinf v0.3来了！从模型生态到真机部署五大能力跃升，无问芯穹与清华大学联合打造

量子位的朋友们 2026-07-16 17:25:17 来源：量子位

当下的具身智能行业，正站在从“数据驱动”迈向“经验驱动”的关键拐点上。机器人不再满足于静态模仿，而是需要在真实世界中持续学习、在线进化。但在现实中，强化学习流程复杂、系统组件异构、资源形态多样以及真实世界在线学习难以规模化等关键问题，成为影响具身智能走进真实世界的行业痛点。

今天，由无问芯穹联合清华大学等共同研发的全球首个面向具身智能持续进化的大规模强化学习基础设施项目 RLinf，正式宣布升级为 RLinf v0.3，为破解具身智能行业发展瓶颈构建了新一代“进化底座”！

RLinf v0.1 和 v0.2 分别完成了强化学习系统抽象与真实世界在线学习基础设施建设。新版RLinf v0.3 进一步升级为面向具身智能持续进化的一站式开发平台，首次完整打通数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测以及真机部署等关键环节，实现从仿真训练到真实机器人在线学习、再到持续迭代优化的统一开发闭环。

由此，RLinf不仅能够高效训练机器人策略，更能够支撑机器人在真实世界中的长期持续进化。

具体来说，RLinf v0.3围绕模型、算法、真机、仿真、系统五个维度，进行了全面升级，系统性地降低具身智能开发门槛，提升训练效率与部署灵活性，覆盖更加丰富的具身智能开源生态。

针对强化学习中“参数难调、结果难复现”的行业痛点，RLinf 始终将训练效果的严格可复现作为核心标准。在此次 v0.3 正式发布前，研发团队已对大量应用示例完成了深度的复现性测试，详见v0.3 Release Notes。

本次发版已与包括百度智能云在内的多家云厂商协同上线。

RLinf v0.3 Release Notes：https://rlinf–1379.org.readthedocs.build/zh-cn/1379/rst_source/resources/release_v0.3.html

快速上手：

https://docs.neogpu.com/posts/rlinf-ppo-vla.html

https://cloud.baidu.com/doc/AIHC/s/fmrenj9u1

Github链接：
https://github.com/RLinf/RLinf

RLinf Tech Report：https://arxiv.org/abs/2509.15965

01 模型生态：新增6款主流具身模型

RLinf v0.3继续扩展模型生态，新增 6 款具身模型支持，涵盖世界模型、VLA 模型及系统级加速：

• 新增 Dexbotic DM0 模型支持，在 LIBERO 上用 PPO 进行在线 RL 微调。
• 新增 DreamZero 模型支持：基于 WAN2.1/2.2 视频生成世界模型微调的 VLA 策略，集成进 SFT 工作流，通过 FSDP2/CUDA Graph 等系统级加速取得近4倍吞吐提升。
• 新增 GR00T-N1.6 / N1.7 模型 RL 微调支持。
• 新增 ABot-M0 模型支持。
• 新增 StarVLA 模型支持（GRPO on LIBERO）。
• 新增 LingBot-VLA 模型支持（RoboTwin 环境 SFT/RL）。

02 算法体系：从模仿学习到真机学习全覆盖

新版在真机 RL、仿真 RL 和人在环学习三个方向均有重要算法新增，表现出SOTA的真机任务成功率。具体：

真机强化学习算法：

• 将 DSRL（Diffusion Steering via Reinforcement Learning）扩展至 Pi0.5 模型。
• 新增 RECAP（基于离线优势估计的策略优化）训练流水线支持。
• 新增 SAC-Flow 算法支持，并扩展到 DOS-W1 等真机场景。

仿真强化学习算法：

• Async PPO：在 v0.2 基础上扩展支持 MLP 等新策略，并新增 async DSRL 配置。
• 新增 D4RL 离线 IQL 训练支持（Antmaze / Kitchen-Adroit / MuJoCo，基于 FSDPStrategy）。

人在环学习：

• 新增 DAgger 在线模仿学习算法支持（LIBERO、ManiSkill、RoboTwin、真机 PnP 多场景）。
• 新增 HG-DAgger（Human-Gated DAgger）真机在线训练支持。

03 真机支持：打通从数据采集到真机部署全链路闭环

新版全面打通数据采集 → SFT → RL → 真机部署的闭环链路，新增 3 种遥操作方式、3 款真机平台、2 款末端执行器，真机实操能力显著增强：

数据采集支持：

• 新增 空间鼠标（Spacemouse） 遥操作数据采集支持。
• 新增 VR 遥操作 数据采集支持。
• 新增 GELLO 遥操作 数据采集支持。

训练链路支持：

• 新增 LeRobot 格式数据采集 支持，便于与 HuggingFace LeRobot 生态互通。
• 新增 Pi0 真机 SFT 部署 支持，打通数据采集 → SFT → 真机部署链路。
• 新增 真机 reward model 数据采集 支持（采集带标注 reward 训练数据）。

真机平台与末端支持：

• 新增 双臂 Franka 平台支持（关节空间与 TCP/rot6d 控制、数据采集、SFT、部署）。
• 新增 GimArm 真机平台支持。
• 新增 DOS-W1 真机平台支持。
• 新增 Franka DexHand 灵巧手 末端执行器支持。
• 新增 Franka Robotiq 夹爪后端支持。
• 新增 Franka Robotiq 及 ZED / LUMOS V4L2 相机与夹爪后端支持。

04 仿真环境：场景覆盖更丰富

RLinf v0.3提升仿真强化学习的场景覆盖，新增 5 种仿真器，完善基于仿真器的训练示例与效果：

• 新增 Genesis 仿真器支持。
• 新增 Polaris 仿真器支持。
• 新增 RoboVerse 仿真器支持。
• 完善 Behavior 环境支持：新增 v3.7.1 / v3.7.2 版本补丁、π0.5 PPO 配置与 object/pose randomization。
• 新增 Libero+ / LiberoPro 变体环境支持。
• 新增 Embodichain（CartPole） 环境支持。
• 新增 IsaacLab 上 π0.5 PPO finetuning 支持。
• 新增 RoboCasa close-drawer 等 RL 示例支持。

05 系统基座：面向大规模训练持续强化底层能力

RLinf v0.3在系统层面新增多项重磅组件：

• Reward Model组件：支持embodied reward worker + ResNet/VLM reward model。
• Value Model组件：通用基础设施，支撑Pi0.6 RECAP等流水线。
• SGLang推理服务化组件：HTTP server + router模式，可作为reward服务/rollout推理后端。
• 解耦环境执行组件：解除Env Worker与Rollout Worker一对一绑定，提升GPU利用率。

性能优化方面，新增torch.compile加速、rollout与训练overlap、权重同步升级（broadcast/增量同步/分桶同步/仅同步可训练参数）、FSDP全offload支持，并修复了显存泄漏等关键问题。

值得关注的是，RLinf v0.3全面支持昇腾Ascend（CANN/torch-npu）、AMD ROCm、Musa等国产及异构AI计算平台，真正做到跨机器人、跨模型、跨仿真器、跨计算硬件的统一训练能力。

06 One More Thing：RLinf for Agentic AI

RLinf v0.3为智能体 RL 场景提供了更强大的训练和评测基础：

• 新增 AgentLightning 多轮单智能体 RL 训练与 Calc-X 评测支持。
• 新增 Megatron-Bridge actor 后端支持（基于 Megatron-mbridge 模型的 RL 训练与 SFT）。
• 将 SearchR1 重构为多轮接口，并新增 WideSeek judge 的内置 sglang 支持。

RLinf 自开源以来，以开放共享为核心理念，迅速形成全球影响力。截至目前在 GitHub 已获得 4100+ Stars 、 600+ Forks、100+ Contributors，成为具身智能与大模型强化学习领域最受关注的基础设施项目之一。

RLinf 已被 Isaac Lab 官方收录为其首个面向具身大模型的训练引擎，体现了其在具身智能基础设施方向的国际技术引领能力。值得一提的是，RLinf团队与 NVIDIA 团队合作的医疗器械组装任务成功登上 NVIDIA GTC 2026，进一步验证了其全球技术影响力。

此外，项目荣获 EAI-100年度十大突破奖，入选Pytorch Ecosystem、蚂蚁开源榜，代表其在具身智能基础设施领域的技术领先性与行业认可度。

未来，RLinf将坚持开源路线，提升易用性，并携手社区同行持续贡献前沿算法。为了更好地与社区互动，RLinf团队也已经创建开发Roadmap（
https://github.com/RLinf/RLinf/issues/1322），建立答疑群（https://raw.githubusercontent.com/RLinf/misc/refs/heads/main/pic/wechat.jpg），欢迎研究者们加入社区，共同开发！

转载来源：无问芯穹

本文为量子位获授权转载，观点仅为原作者所有。