英伟达用苹果Vision Pro训练人形机器人

在机器人技术的进步中，确保训练数据的精确匹配至关重要。为此，业界和学术界正积极探索XR技术的潜力，以推动机器人训练进入新纪元。英伟达（NVIDIA）通过将Apple Vision Pro纳入其人形机器人训练体系，为全球人形机器人技术的飞速发展注入了强劲动力。

通过先进的头显设备，人形机器人能够实时复刻人类操作员的动作，并通过第一人称视频传输确保操作的流畅性和高效性。这种技术的应用不仅提升了训练效果，还降低了传统远程操作方式的高成本和低效性。在近期的英伟达GTC大会上，英伟达展示了其基于Omniverse Cloud API的软件框架，能够将工业场景流式传输到Apple Vision Pro。

值得一提的是，这一网络也是用于GeForce Now云游戏的全球数据中心网络。

在现场演示中，观众通过Apple Vision Pro看到了交互式、物理上精确的汽车数字孪生模型，该模型流式传输到高分辨率显示屏上，展示了1000亿个三角形的场景，具有光线追踪、全局光照和动态照明等效果。英伟达模拟副总裁Rev Lebaredian表示，Apple Vision Pro是第一款允许企业客户毫无妥协地实现工作目标的无线设备。

英伟达推出了两项前沿的人工智能微服务——MimicGen NIM与Robocasa NIM，这些服务基于NVIDIA Omniverse平台与Isaac Sim，优化了物理AI仿真的工作流程。MimicGen NIM能够从Apple Vision Pro等设备收集数据并生成高质量的合成运动数据，而Robocasa NIM则专注于构建机器人任务及模拟环境。

面对训练人形机器人所需的海量数据挑战，英伟达展示了基于AI技术与Omniverse平台的远程操作解决方案。开发者利用Apple Vision Pro捕捉少量关键远程操作演示，并在NVIDIA Isaac Sim中进行深度模拟，通过MimicGen NIM微服务快速生成所需的合成数据集。

这些数据用于训练如Project GR00T等类人基础模型，提升训练效率与模型性能。通过Isaac Lab的Robocasa NIM微服务，开发者还能创建各类体验场景，以持续优化并重新训练机器人模型，NVIDIA OSMO智能管理系统则优化计算资源分配，确保工作流程的顺畅与高效。

Apple Vision Pro在XR、AI以及机器人领域展示了卓越的可用性和显著优势。通过与NVIDIA的合作，Vision Pro不仅提供了高分辨率的显示和精确的空间计算能力，还增强了人形机器人训练的效果和效率。凭借其先进的硬件设计和强大的数据处理能力，Vision Pro能够实时复刻人类操作员的动作，并通过第一人称视频传输确保操作的流畅性和高效性 。

就本次案例而言，库克最后的王牌Vision Pro成功结合了芯片业巨头NVIDIA旗下的AI微服务，显著提升了XR技术在机器人领域的应用强度，开创了新的训练模式和应用场景。这一切，都为将来机器人技术的发展提供了强有力的支持，展示了XR和AI在实际应用中的巨大潜力。随着技术的不断进步，我们有理由相信Vision Pro能在更多领域发挥其独特优势，推动整个行业向前发展 。