近日,苹果正式发布了适用于 Vision Pro 头显的 visionOS 2 系统更新。
苹果表示:“visionOS 2 是一次让 Apple Vision Pro 使用体验更胜以往的重大更新,其中包括将用户喜爱的照片转换为惊艳的空间照片功能、直观自然的新手势,以及热门 app 带来的全新功能。”
菜单手势
将图像转换为空间照片
该更新还允许用户重新排列主屏幕上的应用,之前只能强制按字母顺序排序,无法进行自定义。
visionOS 2 增加了两个系统手势。现在,张开手掌并将食指捏到拇指上会调出应用启动器(与 Meta Quest 头显上的菜单手势相同)。再次将手掌朝下会显示一个手锁定信息栏,其中包含时间、音量、电池百分比和连接状态。捏合将打开控制中心。
超宽 Mac 虚拟显示器
visionOS 2 可以将任何 2D 图像转换为空间照片,并使用“高级机器学习”使其成为 3D 图像。
Mac 虚拟显示功能将得到重大改进,将显示屏扩展为虚拟超宽屏幕,相当于两个 4K 显示器合在一起。苹果表示,这基于眼动追踪动态注视点技术驱动实现。
此功能需要基于 macOS 未来版本,目前测试版或候选版本中尚未提供此功能。
手势追踪和场景理解的改进
visionOS 2 带来了两项手部追踪改进和两项场景理解改进。
在 visionOS 1 上,系统支持 30Hz 手部追踪姿势。而在 visionOS 2 上,手部追踪姿势以显示刷新率呈现,通常为 90Hz。
另一项手部追踪改进是预测,这对开发者来说是可选的。启用预测可提供推断的手部姿势,表示在显示每一帧时手部应该在哪里。这可以显著降低有效延迟,但会牺牲一些准确性。
借助 visionOS 2,Vision Pro 现在具有房间追踪功能。该系统将为开发者提供每个房间墙壁和地板的精确几何形状,甚至支持非矩形墙壁。进入新房间时,系统将通知开发者并开始仅为新房间描绘几何形状。
除了墙壁和地板,visionOS 2 还改进了平面检测。相比之下,visionOS 1 只能检测水平和垂直平面,而 visionOS 2 还可以检测倾斜平面。
Safari 默认提供影院模式和 WebXR
在 visionOS 2 中,Safari 支持在虚拟环境巨大虚拟屏幕上播放全屏视频,包括 YouTube 和 Netflix 内容。
WebXR 现在也默认启用,不再隐藏在用户需要启用的功能标志后面。
Vision Pro 现在是 AirPlay 接收器
借助 visionOS 2,Vision Pro 头显现在是 AirPlay 接收器,这意味着用户可以将 iPhone 或 iPad 显示投射到头显上。
新的虚拟环境:波拉波拉岛
键盘突破与实体鼠标
在 visionOS 2 中,物理键盘现在可以显示完全沉浸式的环境,这称为“键盘突破”。
此外,现在还支持物理鼠标,而以前只能使用触控板。
访客模式升级
visionOS 2 允许保存访客用户的手眼设置长达30天。
对于经常使用 Vision Pro 的访客来说,这将非常有用,因为以前每次都需要重新进行手眼设置。
静态 3D 物体追踪
visionOS 2 还为开发者增加了追踪 3D 对象的功能,这是一项全新的追踪功能。
在编译应用之前,开发者必须将追踪 3D 对象作为 USDZ 3D 模型反馈给 Mac Create ML 工具。Create ML 将为每个对象训练一个神经网络,并将其嵌入到应用中。
火车出行模式
旅行模式此前是为航空出行而设计的,现在正获得对火车出行的支持。
实时字幕
正如5月份所宣布的那样,visionOS 2 增加了实时字幕选项,该选项可应用于通过麦克风输入的实时对话以及来自任何应用程序的音频,包括 FaceTime 通话。
HealthKit 与 TableTopKit
HealthKit 曾在其他苹果设备上使用,现已在 visionOS 2 中推出,其使健康和健身应用能从用户 Apple Health 档案中存储和读取数据。
新的 TabletopKit 使开发者能更轻松“快速构建以桌子为中心的共享和协作应用体验,例如棋盘游戏或制造工作站”。
企业 Raw 相机访问
借助 visionOS 2,企业可访问 Vision Pro 的透视摄像头来运行自定义计算机视觉模型。
苹果明确表示,这些功能只能在“仅用于商业环境”的应用中使用这些功能,并且使用这些功能的应用只能作为专有的内部应用或使用 Apple Business Manager 为特定业务制作的自定义应用分发,而不能在 App Store 上分发。需要托管授权以及与自己的 Apple 开发者账户绑定的许可证文件。