DeepMind联手超过30个学术实验室,发展跨型态机器人学习资源,收集多种不同型态的机器人资料,创建了一个称为Open X-Embodiment资料集,并且以此资料集训练了机器人Transformer模型RT-X,该模型可以在多种机器人型态间传递技能,核心目标是要让单一模型可以控制不同类型的机器人。
过去,当机器人、任务或是环境稍有变化,研究人员就需要重新训练机器人模型,而为了解决更改单一变数,就要从头开始训练模型的麻烦,DeepMind想要发展通用机器人技术,而训练通用机器人模型,建立多样化机器人演示资料集是关键步骤,如此才能使模型可以控制不同类型的机器人,遵循不同的指令,对复杂的任务进行基本推理,并且有效地泛化技能。
不过,这对单一实验室来说是非常耗费资源的工作,於是DeepMind肩负起建立Open X-Embodiment资料集的任务,和33个学术实验室合作,从22个型态的机器人收集资料,资料集范围涵盖500种技能和15万项任务,总计超过100万个场景。这是目前同类型中,最完善的机器人资料集。
而RT-X则是以DeepMind的RT-1和RT-2机器人Transformer模型,所训练的通用机器人模型,RT-1是DeepMind大规模用於真实世界的机器人控制模型,进一步训练成为RT-1-X,而RT-2则是视觉、语言与动作(VLA)模型,可以从网路和机器人资料中学习,DeepMind使用该模型训练出RT-2-X。
透过引入更多样化和跨型态的训练资料集,RT-1-X和RT-2-X达到更佳的性能,相较於只在特定领域训练的模型,RT-X展示更高的泛化和新增技能的能力。当研究人员将RT-1-X与专为特定任务开发的模型进行比较时,他们发现利用Open X-Embodiment资料集训练的RT-1-X,在性能上平均超越原始模型50%。
此外,研究人员也深入探讨机器人之间的知识转移。他们进行一系列的实验,其中涉及的技能和物体在RT-2资料集中不存在,但是在其他机器人资料集中出现,而实验结果发现,RT-2-X模型在新技能方面的表现是RT-2模型的3倍。这代表结合多平台的资料进行训练,RT-2-X成功学习到原始资料集中所没有的技能(下图)。
这篇研究的重要性在於,透过使用更多样化的资料和先进模型,研究人员可以开发出更有用的辅助机器人,同时,还证明了跨型态机器人通用模型的可行性,能够大幅提升DeepMind和各种机器人的运作表现。DeepMind目前已向社群公开Open X-Embodiment资料集和RT-1-X模型,以促进机器人技术的研究。