近期,开发者 Michael Gschwandtner 成功绕过了Meta Quest 平台上的技术限制,巧妙地实现了对透视相机数据的访问,尽管Meta尚未正式向第三方开发者开放这一功能。
据了解,Gschwandtner 是创新手部跟踪健身应用XRWorkout 的 CEO,他的这一技术突破为VR和AR应用开发带来了新的可能性。
具体来说,Gschwandtner的方法利用了一个技术漏洞。他首先创建了一个测试应用,该应用内置了一个 webview 组件,这个组件能够将 Quest 设备捕捉到的透视相机画面实时投射到设备内部的一个特定应用中,而不是传统的外部浏览器。
接着,他通过 webview 渲染的画面(RenderTexture)进行像素级别的采样,成功间接获取到了Quest 3的透视相机数据。
为了展示这项技术的潜力,Gschwandtner 在测试应用中集成了开源的 MobileNet V2 对象检测模型,使应用能够实时识别和反馈现实世界中的物体信息。这种实时识别功能为用户提供了全新的交互体验,展示了透视相机数据在增强现实(AR)应用中的巨大潜力。
尽管 Meta 官方尚未对此技术突破发表正式回应,但 Meta 的 CTO Andrew Bosworth 此前曾表示,团队正在关注并承诺未来可能会开放透视相机的权限给开发者。
然而,Meta 在开放相机权限方面仍然保持谨慎,尤其是在平衡技术创新与用户隐私安全方面。这一点在Vision Pro 设备的相机权限开放策略中也有所体现,虽然 visionOS 2 版本已向企业用户有限度开放了相机访问权限,但条件依然严格,反映出 Meta 在这一问题上的谨慎态度。