中国机器人学会隔墙“递眼色”！成功率从0飙到100%，组队干活不烧心

杰西卡 发自 ROBO-智

量子位ROBO | 公众号 AI4ROBO

机器人组队干活，最怕啥？

心不齐。

两个人一起叠被子、搬桌子尚且还需要眼神配合，更别说几个机器人碰在一起：

这一台刚抓住桌角，那一台就准备抬起来；一方视线被遮挡，连队友进行到了哪一步都不知道……机器人合作起来通常更让人抓狂。

更麻烦的还是机器人之间的交流。

让中心系统统一调度？精细动作的配合容易慢半拍；把摄像头拍到的画面全部发给队友？又会产生大量冗余数据，增加通信和处理负担。

针对这个问题，深圳具身智能公司星尘智能，刚刚发布了一套多机协同框架CoMind（Be My Eye）。

这家公司此前以绳驱机器人和自研具身智能模型受到关注，这次则把研究重点放到了多台机器人之间，让它们主动交换任务关键信息，独立完成动作决策，实现更紧密的协作。

直接看极限测试的数据：

两台机器人隔着挡板，彼此完全看不见，却可以通过共享关键信息配合拿笔，任务成功率从0%直接提升到100%。

被挡住视线的机器人靠队友借眼找盒子放东西，准确率从靠盲猜的38.9%冲到88.9%。关键是，整个过程的信息传输量直接砍掉了80%。

信息传得更少，怎么机器人反倒配合得更好了？！

隔墙“借眼”，机器人组队干活有了新办法

星尘智能刚刚推出的CoMind，是一套面向多机器人协同操作的模型框架，核心目标是让机器人在独立决策的同时，主动交换对任务有用的信息。

星尘将这套框架的核心能力归纳为两点：去中心化的主动共享，以及任务关键信息的精选与压缩。

前者让每台机器人都能主动向队友提供信息，并结合接收到的上下文独立生成动作，减少对统一中心控制器的依赖。

后者则改变了信息交换的方式。机器人无需传递完整的摄像头画面，而会根据任务需求提取关键视觉特征和操作状态，帮助队友判断下一步动作。

简单来说，机器人既能自己拿主意，也知道该告诉队友什么。

星尘智能为此展示了六项真机测试，包括隔墙拿笔、盲盒置物、纸箱组装、叠被收纳、冰箱补货和哑铃组装*（真机视频可以参考文末链接）*。

六项实验覆盖视觉遮挡、柔性物体操作、精密装配等不同类型的协作难题。

这里以两台机器人一起组装纸箱为例。

看似简单的任务，实际需要双方共同撑开、翻转箱体，并不断调整抓取位置。纸箱翻转时还会遮挡视线，让机器人无法直接观察队友的操作。

而借助CoMind，两台机器人可以交换操作状态和任务进度，在视线受阻的情况下继续完成装配。

叠被子就更复杂了。被子柔软且容易形变，机器人提起、翻折和搬动时，形状、边缘以及受力状态都在持续变化。

要让两台机器人配合完成任务，双方不仅需要控制各自的动作，还得根据队友的操作实时调整。

演示中，两台机器人连续完成了提起、翻折、收纳等操作，全程无需人类逐步下达指令。

还有哑铃组装。一台机器人负责将哑铃片穿入杆中，但受限于自身视角，很难同时看清杆与孔位的相对位置。

另一台机器人则通过不同视角，提供关键空间信息，帮助队友动态调整动作，完成对准和装配。

再看这个冰箱补货，展示的是不同位置之间的信息互补。

一台机器人发现冰箱里缺少饮料，另一台机器人能够看到岛台上的饮料。双方交换视觉信息，再配合完成递送和补货。

几项实验背后，其实涉及两种不同的协作能力。

一方面是感知互补，让机器人借助队友的视角，获取自身无法观察的信息；另一方面是动作协同，让机器人在持续操作过程中，利用队友的状态和进度调整自身行为。

后者尤为重要。因为两台机器人分别具备搬运、抓取、折叠的能力，不代表组合起来就能顺利完成任务。

共同搬运物体时，一方的动作会直接影响另一方的操作条件；组装复杂零件时，双方还需要不断根据物体状态调整姿态。

单机操作可以实现独立决策，协作任务则需要机器人持续理解彼此的行动。

让机器人各自做好手头的事，只是第一步；让它们知道队友此刻需要什么，才是协作的关键。

比共享视野更重要的，是学会“说重点”

CoMind的两项核心能力，分别对应着多机器人协作中的两个现实难题：如何协调决策，以及如何高效交换信息。

传统的多机器人协作，一种常见方式是中心化调度，由统一的控制系统分配任务、规划行动，再向各台机器人下达指令。

这种方案适合明确的任务分工，但面对需要频繁调整的精细操作，集中处理多台机器人的感知与控制信息，容易带来额外的计算和通信开销。

另一类方案采用分布式决策，让机器人独立完成感知和动作控制。

这种方式降低了对中心系统的依赖，但每台机器人掌握的信息有限。

一旦目标或队友被遮挡，便可能失去关键的决策依据。即使允许机器人相互通信，也需要解决信息传递的问题。

机器人每秒可能产生大量视觉数据，但其中真正与队友动作有关的，通常只有很小一部分。

例如组装哑铃，负责穿入哑铃片的机器人，需要知道杆与孔位之间的相对位置。周围的家具、墙面和其他物体，对当前操作并没有直接帮助。

如果把完整视频传给队友，不仅增加通信负担，还需要接收方重新从海量数据中提取有用信息。

CoMind的技术设计，正是围绕信息提取与协同决策展开。具体来说，它分为两个阶段：

第一阶段是任务相关上下文提取。

CoMind通过上下文编码器，从多路摄像头观测中筛选、压缩关键信息，保留对当前任务和后续动作有价值的视觉特征。

模型还会学习预测未来的视觉变化，并结合任务进度，让机器人理解操作所处的阶段。

第二阶段是双向共享与协同动作生成。

两台机器人均可以独立提取、发送关键信息，也可以接收队友传来的上下文。

接收方将共享信息与自身视觉观测、任务指令及本体状态结合，再输入视觉—语言—动作模型（VLA），生成连续动作。

双方均具备信息发送与动作决策能力，不再依赖同一个中心控制器生成全部操作指令。

整个框架还有一项关键设计：动作级反向传播。

简单理解，就是让队友的动作结果，反过来决定自己应该提供什么信息。

以盲盒置物实验为例。机器人A看不见目标，需要机器人B提供信息。

如果A最终伸错位置，训练过程中，动作预测误差就可以反向传递至B的信息编码器，帮助模型调整对关键特征的提取方式。

反复训练之后，B会更倾向于提供有助于A完成正确动作的信息。

由此，信息共享与最终动作之间建立了直接联系。机器人交流的目标，不再局限于准确描述周围环境，还需要服务于队友的操作决策。

实验数据也反映了这种变化。在盲盒置物任务中，不共享信息的准确率为38.9%；采用另一种上下文传输方案后，准确率达到72.2%。

CoMind进一步将准确率提高至88.9%，同时将通信信息量减少约80%。

让机器人拥有更多信息，并不必然带来更好的协作。信息与任务之间的关联，才真正决定它能发挥什么作用。

协作智能，正在补齐单机智能边界

多机器人协作，如今正在成为具身智能领域的重要研究方向。

随着VLA等模型不断进化，机器人理解环境、执行指令和完成复杂操作的能力持续提高。

但现实中的大量工作，本身就需要多个执行主体共同完成。

比如搬运大型物体、组装复杂设备、处理连续的生产流程，都涉及不同位置、不同动作之间的协调。单台机器人再聪明，也受到自身视野、机械结构和操作范围的限制。

△图片由AI生成

因此，越来越多研究团队，将注意力投向了多机器人之间的协作机制。

例如，斯坦福大学团队在2026年提出CHORUS，尝试让不同机器人使用同一套VLA策略，在各自独立感知的条件下实现协作。

CHORUS并不要求机器人在运行时显式通信。每台机器人根据自己的视觉观测和共享的策略独立生成动作，通过观察队友的行为形成配合。

研究展示了共同抬起洗衣篮、传递图书等任务。

2025年发表的LatentToM，采用的是另一条技术路线。

研究人员让不同机器人学习共享的潜在表征，以建立对任务状态和队友行为的共同理解，并支持通过通信交换紧凑的表征，实现协作操作。

2026年10月公开的DuoMind，则通过视觉语言模型进行高层任务推理和语义通信，由VLA模型负责底层动作执行，探索不同机器人之间的分布式协同。

三项研究分别展示了不同思路：通过共同策略形成默契，通过潜在表征建立共识，或者通过语义信息组织行动。

而星尘智能CoMind所关注的，是另一个更靠近动作层的问题：如何让机器人共享的信息，直接改善队友的动作决策。

它将任务相关的视觉信息提取、双向共享和动作策略联合优化，使通信内容与最终操作结果建立联系。

这条研究方向，也与星尘智能此前的技术积累有关。

星尘智能成立于2022年底，创始人兼CEO来杰，曾经是腾讯Robotics X实验室架构师，也是该实验室早期核心成员。此前他还负责过百度小度机器人相关的研发工作。

这家公司选择了相对少见的绳驱技术路线，先后推出Astribot S1、T1等机器人产品，并围绕AI模型、具身操作系统和绳驱本体建立软硬件一体化技术体系。

模型层面，星尘智能此前推出了Lumo系列具身基座模型。

今年7月发布的Lumo-2，已将人机协同、多机器人协作纳入能力展示。此次CoMind则把研究进一步深入到机器人之间的信息交换与动作决策。

由单机操作延伸到多机协作，星尘的技术路线也体现了整个行业正在面对的新课题。

无论工业装配、仓储搬运还是家庭服务，机器人都很难始终拥有完整的环境信息，也无法独自承担所有操作。

不同位置上的机器人，天然掌握着不同的视角；不同任务环节之间，又存在紧密的动作依赖。这些分散的信息能不能有效流动，直接决定整个系统的效率。

于是，协作不再局限于任务分配、路径规划和动作协调。机器人还需要理解队友的信息需求，并据此调整自身的感知与通信行为。到了真机上，这种能力直接决定任务成败。

协作，正从工程师写下的规则，变成模型在训练中习得的能力。

人类通过分工协作，将个体有限的能力组织起来，形成复杂的社会生产体系。如今，这一规律也融入到了机器人的逻辑中。

技术报告地址：www.astribot.com/AI/CoMind