苹果野心勃勃!Vision Pro新专利曝光：要打造全身3D数字人,AI重建你的全身Avatar

革命性突破!苹果新专利曝光Vision Pro全身Avatar技术

苹果展示了Vision Pro“Persona”功能的未来更新，可能生成用户的全身虚拟形象

Vision Pro的一项有趣功能被称为“Persona”，即用户的个人数字形象，正如苹果的营销宣传图所示。近日，美国专利商标局正式公布了一项来自苹果的专利申请，揭示了该功能的潜在进步：未来可能不仅限于用户的面部，而是能够生成用户的全身“Persona”。这一更新可以捕捉用户的衣着风格、纹理、发型、发色、面部毛发特征、眼睛颜色、配饰等。

苹果在其专利背景中指出，在用户使用设备时（如头戴设备），生成或修改用户的三维模型可能是可取的。然而，现有系统可能无法充分利用来自外部设备的数据来生成或修改此类用户形象。

多设备模型增强
总体而言，苹果的发明涵盖了通过外部设备（如摄像头、头戴式扬声器设备、头戴设备或其他可穿戴设备）收集数据，以改进穿戴设备上生成的用户三维模型的系统、方法和设备。

外部设备提供的数据可能包括与用户身体部位（如躯干、背部、腿部、脚部等）相关的视觉数据，或者用户特征（如身体尺寸、形状、皮肤纹理、衣物材质、用户姿势等）的信息，这些信息可能无法通过用户穿戴设备上的传感器（如摄像头）捕捉到。

例如，头戴设备的传感器可能只能提供Vision Pro佩戴者的部分视角数据，而外部设备可能会提供不同角度的用户视图，覆盖用户的其他部分。通过外部设备收集的数据集可以传输到头戴设备中，使用户的三维模型更加精确、完整、有效或更符合需求。

在某些实现中，外部设备的数据与当前佩戴设备的数据同步，例如，当前的外部设备数据用于补充当前佩戴设备的数据。在其他实现中，外部设备的数据来自不同的时间点，例如，先前捕获的外部设备数据用于补充当前的数据。

例如，存储的传感器数据（如从安全摄像头等设备中先前获取的用户图像）也可以用于更新用户的身体模型。

在某些实现中，来自不同设备的数据会被匹配，用于生成或更新模型（例如，通过匹配过程或准则确认为同一用户）。

某些实现中，外部设备获取的数据可以用于更新用户的三维模型（如点云模型、参数化表示模型、骨骼模型等）。在其他实现中，外部设备数据可用于更新头戴设备使用的预测模型（如神经网络）。例如，外部设备数据可以作为额外的训练数据或输入数据来更新预测模型。

下图1展示了一个通过外部摄像头接收Persona数据来生成或更新用户模型的示例操作环境；图2展示了包含部分被遮挡的用户身体部分的用户模型生成或更新的操作环境；图3展示了一个用于识别用户以确定用户传感器数据的示例过程。

图4展示了一个示例环境的系统流程图，其中系统可以通过多设备提供传感器数据以更新穿戴设备上生成的用户模型；图5是一个示例方法的流程图，展示了多设备如何提供传感器数据以更新穿戴设备上生成的用户模型。

用户的三维模型可以用于建模骨骼长度、体型、皮肤/身体纹理（如纹身、疤痕等）、衣物类型、衣物形状、颜色、材质、纹理、发型、发色、面部毛发特征、眼睛颜色、配饰（如耳环、鼻钉、项链、眼镜、耳机、包等）。单个用户可能会使用多个三维模型来建模不同的属性（如第一个模型用于体型，第二个模型用于皮肤纹理）。

模型表示可以包括参数化人体模型、体素表示、隐式表面表示、神经辐射场（NeRF）表示、骨骼表示、点云、三角网格、位图（用于纹理）、隐式纹理、材质目录引用、纹理图集引用、资产目录引用（如发型、衣物、配饰等）。