全网最详细解读苹果空间计算操作系统Vision OS

2023 年 6 月 6 日在苹果开发者大会 WWDC23 上宣布的 Vision Pro MR将搭载了名为“vision OS”的操作系统。 关于这个visionOS是什么样的，Apple公开了visionOS的概要。

visionOS - Apple Developer

https://developer.apple.com/visionos/

1、visionOS的空间计算

Vision Pro是一种提供称为增强现实（AR）或混合现实（MR）的体验的设备。 基本上，您可以通过它查看周围环境，并在上面显示图标，窗口和信息。 您可以通过观看视频《WWDC 2023 — June 5 | Apple - YouTube》的来确切地了解它。

visionOS是一个考虑到空间计算的操作系统，可以在空间中三维地显示窗口和内容。

・空间(Spaces)

空间是显示窗口和内容的空间概念。 该应用程序基本上是在共享空间上启动的，多个窗口并排显示，就像macOS一样。 应用可以使用窗口和体积（见下文）显示内容，用户可以在所需的任何位置重新排列内容。 为了获得更身临其境的体验，应用程序还可以打开专用的完整空间以仅显示该应用程序的内容。 在完整的空间内，您可以查看窗口和体积，创建无边界的 3D 内容，打开通往另一个世界的门户，甚至完全沉浸在环境中。

・窗口（Windows）

您可以在 visionOS 应用程序中创建一个或多个窗口。它们是使用 SwiftUI 构建的，包含传统的视图和控件，您可以通过添加 3D 内容来增加体验的深度。

・体积(Volume)

2、 Apple框架扩展

针对 visionOS 空间计算扩展或全新设计了以下开发环境和框架。

・Xcode

・SwiftUI

Apple表示：“SwiftUI是构建新的visionOS应用程序或将现有的iPadOS或iOS应用程序引入该平台的最佳方式。 SwiftUI 与 RealityKit 和 UIKit 配合使用，帮助您为 VisionOS 构建清晰、响应迅速且庞大的应用程序。

・RealityKit

Apple 的 3D 渲染引擎 RealityKit 使应用程序能够表示 3D 内容、动画和视觉效果。 使用realityKit，可以通过自动调整照明条件来创建阴影，打开通往另一个世界的门户，构建压倒性的视觉效果等等。 RealityKit还使用MaterialX导出材料。

・ARKit

默认情况下， ARKit为共享空间中的应用程序提供核心系统功能。 然后，当您的应用移动到完整空间并请求权限时，您可以利用强大的 ARKit API，例如平面估计、场景重建、图像坐标固定、环境跟踪和手部跟踪。 因此，将有可能“将水倒在墙上”和“将球弹到地板上”。

・Accessibility

Vision Pro 具有眼动追踪和语音识别功能，允许您通过眼睛、语音或两者与设备进行交互。 此外，通过外部摄像头识别手，您可以使用食指或手腕代替鼠标。 据说它们的设计考虑到了可访问性，就像iPhone和Mac一样，Apple表示他们可以为visionOS开发以可访问性为中心的应用程序，并使Vision Pro成为每个人的绝佳体验。

・Reality Composer Pro

Reality Composer Pro是一款用于为 iPhone 和 iPad 构建、测试、调整和模拟 AR 体验的工具。 Reality Composer Pro 基于 Reality Composer 构建，旨在让您预览 visionOS 应用程序的 3D 内容。 Reality Composer Pro 在 Xcode 中可用，并与 XCode 的构建过程集成，以预览和优化 visionOS 资产。 它对于导入和组织 3D 模型、声音等也很有用。

・Unity

通过使用Unity游戏开发平台，现在可以将使用Unity开发的游戏移植到visionOS，并在Unity中为visionOS开发新的应用程序和游戏。 除了AR体验之外，按原样显示周围环境的“直通功能”和跟踪用户视线并仅以高分辨率绘制视野中心的“Dynamically Foveated Rendering”也可以应用于游戏。 通过将应用程序渲染与RealityKit相结合，使用Unity创建的内容将在visionOS上正常工作。

visionOS SDK 是 visionOS 的开发工具包，将于 2023 年 6 月下旬发布，同时发布的还有新的 Xcode、visionOS 模拟器、Reality Composer Pro、详细文档、示例代码和设计指南。