CoMind - Be My Eye超越自身视角 探索多机器人协作的新范式
技术报告Be My Eye 是一种面向多机器人协作的任务导向主动上下文共享框架。不同于简单的传输原始图像或通用视觉特征，每台机器人都会将自身的局部观测与任务指令提炼为紧凑且与任务相关的表征，从中提取对协作伙伴最有价值的信息。这些共享表征使机器人能够利用彼此互补的视角辅助自身决策与动作生成，弥合分布式感知与协同行动之间的鸿沟。
协作的关键不在于共享一切，而在于传递真正影响决策的信息。
一个世界，无限视界
部分可观测性通常被视为单个机器人的能力局限，但在多机器人协作中，它也可以转化为一种独特的优势：一台机器人无法看到的信息，恰恰可能清晰地呈现在另一台机器人的视野中。
以两台机器人共同支撑并组装箱体为例：箱板可能挡住其中一台的视线，让它看不清伙伴做到了哪一步，比如底板是否已经粘合好、什么时候该一起翻转箱体，而这些细节恰好都在另一台机器人的视野里。要不要微调支撑姿态、放慢装配动作，好让箱体精准对位贴合，就取决于这些它自己看不到、伙伴才能看到的信息。
真正的挑战不只是让机器人看到更多，而是让它们能够借助彼此的视角感知环境，并将分散的局部观测转化为协调一致的行动。这是迈向更紧密协作的重要一步：每台机器人的决策，不再仅仅取决于自身所看到的世界，也取决于伙伴所感知到的信息。
从局部观测，到协作决策
真实世界中的机器人始终面临部分可观测性的挑战。视野遮挡、空间分离以及任务角色的差异，使得一台机器人所感知的信息，可能恰恰是另一台机器人完成任务所缺失的关键信息。Be My Eye 希望将这种天然存在的互补观测转化为能够直接服务于协作决策与动作生成的共享上下文。为此，我们提出一个两阶段学习框架：首先，将机器人的局部多视角观测压缩为紧凑且与任务相关的上下文表征；随后，通过双向信息共享与策略联合优化，使共享上下文真正融入协作伙伴的动作生成过程。
主动上下文构建
我们设计了两个互补的学习目标，引导机器人提取真正有助于协作的视觉信息：
任务导向的未来预测
引导共享上下文保留对未来视觉状态变化具有预测价值的信息，并根据视觉区域与当前任务的相关性进行加权，使表征更加关注关键物体、环境状态及其变化。
任务进度对应学习
基于任务类别与执行进度构造软标签，引导表征空间形成合理的结构，既保持不同任务之间的可区分性，也体现同一任务在不同执行阶段之间的连续性。
学习如何利用共享信息进行协作
我们为多机器人设计了对称的上下文编码与动作策略接口，使每台机器人都能够独立提取并双向交换自身的任务相关上下文。接收端将来自伙伴的共享上下文与本地视觉观测、任务指令及本体状态进行融合，并输入预训练的视觉—语言—动作（VLA）策略，生成连续动作。更重要的是，在联合优化过程中，接收端的动作监督信号能够沿共享信息路径反向更新发送端的上下文编码器，使信息提取不再局限于独立的表征学习目标，而是进一步面向伙伴的实际动作需求与协作决策进行优化。
真实世界任务
我们在真实机器人平台上设计了多种双机器人协作任务，验证主动上下文共享在不同协作场景中的作用。
按照冰箱内饮料从上到下的顺序，将岛台上对应的饮料补充到冰箱中，完成后关闭冰箱门
高效信息传递
机器人 A 观察冰箱内部的摆放需求，机器人 B 负责提供岛台上的待补货饮料。双方通过共享紧凑的任务相关上下文，传递目标选择、物品交接与补货进度等关键信息，实现跨视角协作，避免冗余视觉信息传输。
融合多元视界，迈向超越个体的智能。
Be My Eye 将跨机器人信息交互从被动传输视觉内容，推进到面向任务与协作决策的主动上下文共享。
通过紧凑的表征学习、双向信息交换与策略联合优化，机器人能够将伙伴的互补观测融入自身动作生成，为视觉遮挡、空间分离和紧密配合条件下的多机器人协作提供一种可复用的学习框架。这一机制与高层任务规划并不冲突。未来，我们希望进一步探索更丰富的共享信息、更灵活的多机器人交互，以及在不同任务和平台上的协作能力扩展。
