PhysicsGen:定制训练数据赋能机器人智能操作,开启机器人学习新纪元

1

在人工智能领域,尤其是机器人技术方面,我们正迎来一个激动人心的时代。麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)的研究人员开发了一种名为PhysicsGen的创新系统,它有望彻底改变机器人学习和操作物体的方式。这项技术不仅提高了机器人的操作效率,还为机器人基础模型的发展奠定了坚实的基础。

Collage of 3 images: A researcher wears a virtual reality headset next to computer screens showing object simulations. A 3 by 5 grid shows simulations of how robots would handle the objects. A photo shows 2 actual robotic arms manipulating a cube.

PhysicsGen的核心在于其能够根据特定机器人的需求定制训练数据。这意味着,无论是家庭还是工厂,机器人都能通过PhysicsGen找到执行任务的最佳方式。该系统的独特之处在于,它能够将少量的虚拟现实(VR)演示转化为数千个模拟,从而为机器人手臂和手部等机械设备提供高质量的指令。

PhysicsGen:机器人学习的新范式

在过去,训练机器人需要大量的时间和精力。传统的 телеоперация 方法,即通过VR等技术逐步指导机器人,既耗时又费力。而依赖互联网视频进行训练则效果不佳,因为这些视频缺乏针对特定机器人的详细操作指导。PhysicsGen的出现,改变了这一现状。

PhysicsGen通过模拟驱动的方法,为机器人创建定制化的训练数据,帮助它们找到最有效的运动方式。这个过程分为三个关键步骤:

  1. VR交互映射:研究人员使用VR头显跟踪人类如何用手操纵物体(如积木)。这些交互被同步映射到3D物理模拟器中,将手的关键点可视化为小球,从而镜像人类的动作。例如,当你翻转一个玩具时,你会看到代表手部不同部位的3D形状旋转该物体的虚拟版本。
  2. 机器人模型重映射:接下来,系统将这些点重新映射到特定机器人的3D模型上,并将它们移动到系统旋转和转动的精确“关节”位置。
  3. 轨迹优化:最后,PhysicsGen使用轨迹优化算法,模拟完成任务的最有效运动方式,从而使机器人知道如何以最佳方式重新定位盒子等物体。

每个模拟都是一个详细的训练数据点,引导机器人完成潜在的物体处理方式。当这些数据被整合到策略(即机器人遵循的行动计划)中时,机器人就有了多种完成任务的方法,并且可以在一种运动方式不起作用时尝试不同的运动方式。

PhysicsGen的优势与创新

PhysicsGen的真正价值在于它能够自主且高效地扩展数据,从而使任务指令对更广泛的机器有用。麻省理工学院电气工程与计算机科学博士生、CSAIL附属机构的研究负责人Lujie Yang表示:“我们正在创建特定于机器人的数据,而无需人类为每台机器重新录制专门的演示。”

这项技术不仅可以帮助工程师构建一个庞大的数据集,以指导机器人手臂和灵巧的手部,还可以将为旧机器人或不同环境设计的数据转换为对新机器有用的指令。Yang补充说:“尽管是为特定类型的机器人收集的数据,但我们可以复兴这些先前的数据集,使其更具有通用性。”

数据倍增效应

PhysicsGen能够将少量的演示数据转化为大量的模拟数据,从而显著提高机器人的学习效率和操作能力。例如,在虚拟实验中,一个漂浮的机器人手需要将一个方块旋转到目标位置。通过PhysicsGen生成的大规模数据集进行训练,数字机器人以81%的准确率完成了任务,比仅从人类演示中学习的基线提高了60%。

研究人员还发现,PhysicsGen可以改善虚拟机器人手臂协作操纵物体的方式。他们的系统创建了额外的训练数据,帮助两对机器人成功完成任务的频率比纯粹由人类教授的基线高出30%。

现实世界的应用

在与一对真实机器人手臂的实验中,研究人员观察到了类似的改进。当机器人协同工作将一个大盒子翻转到指定位置时,如果它们偏离了预定的轨迹或错误地处理了物体,它们能够通过参考其指令数据库中的替代轨迹来在任务中恢复。

高级作者Russ Tedrake指出,这种模仿引导的数据生成技术结合了人类演示的优势和机器人运动规划算法的力量。他说:“即使是人类的单个演示也可以使运动规划问题变得更加容易。未来,也许基础模型将能够提供这些信息,而这种类型的数据生成技术将为该模型提供一种后训练配方。”

PhysicsGen的未来展望

PhysicsGen的未来充满了可能性。研究人员计划将其扩展到新的领域,例如,使机器能够执行更多样化的任务。Yang表示:“我们希望使用PhysicsGen来教机器人倒水,即使它只接受过收拾餐具的训练。我们的流程不仅可以为熟悉的任务生成动态可行的运动,而且还具有创建多样化的物理交互库的潜力,我们相信这些交互可以作为完成人类尚未展示的全新任务的构建块。”

创建大量广泛适用的训练数据最终可能有助于构建机器人的基础模型,尽管MIT的研究人员警告说,这是一个有些遥远的目标。CSAIL领导的团队正在研究PhysicsGen如何利用大量的非结构化资源(如互联网视频)作为模拟的种子。目标是将日常视觉内容转化为丰富的、机器人就绪的数据,这些数据可以教会机器执行没有人明确展示给它们的任务。

Yang和她的同事还计划使PhysicsGen在未来对具有不同形状和配置的机器人更加有用。为了实现这一目标,他们计划利用包含真实机器人演示的数据集,捕获机器人关节的运动方式,而不是人类的运动方式。

研究人员还计划加入强化学习,即AI系统通过反复试验进行学习,以使PhysicsGen能够将其数据集扩展到人类提供的示例之外。他们可能会使用先进的感知技术来增强他们的流程,以帮助机器人视觉化地感知和解释其环境,从而使机器能够分析和适应物理世界的复杂性。

目前,PhysicsGen展示了AI如何帮助我们教不同的机器人操纵同一类别中的物体,特别是刚性物体。该流程可能很快会帮助机器人找到处理软物品(如水果)和可变形物品(如粘土)的最佳方法,但这些交互作用尚不易模拟。

结论

PhysicsGen是机器人技术领域的一项重大突破,它通过定制化的训练数据和高效的模拟方法,为机器人学习和操作物体开辟了新的途径。随着技术的不断发展,我们有理由相信,PhysicsGen将在未来的机器人应用中发挥越来越重要的作用,推动机器人技术走向更加智能化和自主化的方向。