NVIDIA宣布推出一套旨在加速人形机器人开发的 AI 技术。该产品组合包括 Isaac GR00T N1，它被誉为世界上第一个开放且完全可定制的通用人形推理和技能基础模型。
除了这个核心模型之外，NVIDIA 还推出了模拟框架和蓝图，例如用于生成合成数据的 NVIDIA Isaac GR00T 蓝图。此外，该公司还推出了 Newton，这是一款开源物理引擎，目前正在与 Google DeepMind 和迪士尼研究部门合作开发，专为机器人创建而设计。
GR00T N1 模型现已上市，是 NVIDIA 计划预训练并向全球机器人开发人员发布的一系列完全可定制模型中的第一个。该计划旨在大幅加快目前正在努力应对全球劳动力短缺的行业的转型，预计全球将有超过 5000 万人受到影响。
NVIDIA 创始人兼首席执行官黄仁勋表示：“通用机器人时代已经到来。借助 NVIDIA Isaac GR00T N1 以及新的数据生成和机器人学习框架，世界各地的机器人开发人员将开辟 AI 时代的下一个前沿。”
NVIDIA GR00T N1：用于开发人形机器人的 AI
GR00T N1 基础模型拥有复杂的双系统架构，灵感来自人类认知原理。第一个组件称为“系统 1”，是一种快速思考的行动模型，模仿人类的反应或直觉。与之相辅相成的是“系统 2”，这是一种较慢思考的模型，旨在进行深思熟虑和有条不紊的决策。
在视觉语言模型的支持下，系统 2 会分析周围环境和收到的指令，从而制定行动计划。然后，系统 1 会将这些计划转化为精确而连续的机器人动作。至关重要的是，系统 1 既接受人类演示数据训练，也接受 NVIDIA Omniverse平台生成的大量合成数据的训练。
GR00T N1 的能力使其能够轻松完成常见任务，例如用一只或两只手臂抓取和操纵物体，以及在手臂之间转移物品。它还可以执行需要长期背景和一般技能组合的复杂多步骤任务。这些能力在各个领域都有潜在应用，包括物料搬运、包装和质量检查。
开发人员和研究人员可以灵活地使用他们自己的真实世界或合成数据进一步训练 GR00T N1，以根据特定的人形机器人或任务要求进行定制。
在最近的 GTC 大会主题演讲中，黄仁勋展示了 1X 的一款人形机器人，它可以自主执行家务整理任务。该演示采用了基于 GR00T N1 模型构建的后训练策略，凸显了 1X 与 NVIDIA 之间 AI 训练协作的有效性。
1X Technologies首席执行官 Bernt Børnich 表示：“人形机器人的未来在于适应性和学习能力。在我们开发自己的模型的同时，NVIDIA 的 GR00T N1 为机器人的推理和技能提供了显著的提升。”
“利用最少的训练后数据，我们全面部署了 NEO Gamma，推进了我们的使命，即创造不仅仅是工具的机器人，而且是能够以有意义的、不可估量的方式协助人类的伙伴。”
其他获得 GR00T N1 早期使用权的人形机器人开发商包括 Agility Robotics、Boston Dynamics、Mentee Robotics 和 NEURA Robotics。
NVIDIA、Google DeepMind 和迪士尼研究合作开发牛顿物理引擎
为了进一步推动机器人生态系统的发展，NVIDIA 宣布与 Google DeepMind 和迪士尼研究中心合作开发 Newton，这是一种开源物理引擎，旨在使机器人能够学习如何更准确地处理复杂任务。
Newton 以 NVIDIA Warp 框架为基础，将针对机器人学习进行优化，并与 Google DeepMind 的 MuJoCo 和 NVIDIA Isaac Lab 等热门模拟框架兼容。此外，合作公司还打算将迪士尼专有的物理引擎集成到 Newton 中。
Google DeepMind 和 NVIDIA 还合作开发了 MuJoCo-Warp，这项技术有望将机器人机器学习工作负载加速 70 倍以上。这项进步将通过 Google DeepMind 的MJX开源库以及 Newton 提供给开发人员。
迪士尼研究公司将成为首批利用 Newton 进一步发展其机器人角色平台的公司之一，该平台为下一代娱乐机器人提供动力。例如，在黄仁勋的 GTC 主题演讲中，他与台上的富有表现力的星球大战风格的 BDX 机器人一起登台。
“BDX 机器人只是一个开始。我们致力于以前所未有的方式让更多角色栩栩如生，与迪士尼研究院、NVIDIA 和 Google DeepMind 的合作是这一愿景的关键部分，”华特迪士尼幻想工程研发部高级副总裁 Kyle Laughlin 表示。
“此次合作使我们能够创造出比以往更具表现力和吸引力的新一代机器人角色，并以只有迪士尼才能做到的方式与我们的客人建立联系。”
此外，NVIDIA 和迪士尼研究公司与 Intrinsic 联合宣布了一项额外合作，重点是构建OpenUSD管道并为机器人数据工作流程建立最佳实践。
NVIDIA 解决人形机器人训练数据不足的问题
拥有大量、多样化且高质量的数据集对于有效的机器人开发至关重要，但获取此类数据的成本可能很高。对于人形机器人而言，现实世界中的人类演示数据量本质上是有限的。
为了应对这一挑战，NVIDIA 推出了用于生成合成操控动作的 Isaac GR00T 蓝图。该蓝图基于 Omniverse 和 NVIDIA Cosmos Transfer 世界基础模型，允许开发人员从少量的人类演示开始，为操控任务生成指数级的大量合成动作数据。
利用蓝图的初始组件，NVIDIA 仅用 11 个小时就成功生成了 780,000 条合成轨迹，相当于 6,500 小时或连续 9 个月的人类演示数据。随后，通过将这些合成数据与真实数据相结合，与仅使用真实数据相比，NVIDIA 实现了 GR00T N1 性能的 40% 提升。
为了进一步为开发者社区提供宝贵的训练资源，NVIDIA 将发布 GR00T N1 数据集，作为更广泛的开源物理 AI 数据集的一部分，该数据集也在 GTC 上宣布，现在可在Hugging Face上访问。
那么，什么时候可以实现这一切？
NVIDIA GR00T N1 人形机器人训练数据和任务评估场景可从 Hugging Face 和 GitHub 立即下载。用于合成操作动作生成的 NVIDIA Isaac GR00T 蓝图现在也可在 build.nvidia.com 上以交互式演示的形式获取，或可从 GitHub 下载。
今天在 GTC 上发布的 NVIDIA DGX Spark 个人 AI 超级计算机为开发人员提供了一个即用型系统，可扩展 GR00T N1 的功能以用于新机器人、任务和环境，而无需大量定制编程。
牛顿物理引擎预计将于今年晚些时候推出。
