清华大学与商汤科技联合打造Den-SOFT:可用于6DoF VR体验

2024-08-29 21:34:46
0
30

为了助力 AR 与 VR 技术的蓬勃发展,清华大学携手商汤科技打造了 Den-SOFT,这是一款专为六自由度沉浸式体验设计的密集空间定向光场数据集,旨在应对当前 3D 重建领域面临的算法复杂性与高质量数据集匮乏的双重挑战,尤其是在追求大空间、高精度 VR 体验方面。



随着深度神经网络技术的深度渗透与 VR 技术的迅猛跃进,现实世界的数字化复刻成为了科研与产业界的热点话题。特别是以神经辐射场(NeRF)为代表的隐式渲染技术,更是引领了新一轮的技术革新浪潮。然而,尽管理论框架日趋完善,但算法实现的复杂性与高质量数据资源的稀缺性,依然严重制约了该领域向更高层次迈进的步伐。


特别是在大空间光场重建的语境下,对于能够支撑全方位、高自由度 VR 体验的数据集需求尤为迫切。传统数据集往往受限于场景规模、分辨率、捕获密度及背景细节覆盖等方面的不足,难以满足日益增长的沉浸式体验需求。


鉴于此,清华大学与商汤科技的研究团队,通过精心设计的移动多摄像头采集系统,成功构建了 Den-SOFT 数据集。该系统集成了 40 台 GoPro 10 相机,以 5K 分辨率捕捉场景细节,每个场景至少拍摄 1000 张照片,确保了数据密度与保真度。Den-SOFT 覆盖了广泛的室内场景,还实现了对大型户外场景的密集采集,这在业界尚属罕见。



Den-SOFT 数据集的核心优势在于其高分辨率、高密度捕获特性,以及对室内外场景的全面覆盖。特别是其极高的捕获密度(平均达到 134.68),为空间光场重建提供了坚实的基础,远远超越了现有数据集的水平。此外,团队还特别注重在数据捕获过程中融入天空、反射、光线、阴影等关键元素,以更真实地还原现实世界的复杂光影效果。


为了验证 Den-SOFT 数据集的有效性与实用性,研究团队将其应用于 IBRnet、NeRF 及 3D 高斯分裂等主流 3D 重建算法中,并展示了其在 Unity 引擎中集成的 3DGS 结果。这些实验证明了数据集的高质量与广泛适用性,还揭示了其在提升 VR 真实感与交互体验方面的巨大潜力。


评论
登录 才可参与讨论