英伟达与马里兰大学合作,在虚拟现实和流媒体技术领域取得了重大突破,推出了名为QUEEN的AI模型。该模型让观众在观看体育比赛时能够自由切换视角,同时将3D场景的每帧压缩至仅0.7MB,并保持高达350帧/秒的渲染速度。

QUEEN技术的关键在于其独特的处理方法。它有效解决了传统3D场景重建中存储空间过大或画质不佳的问题。通过智能算法,QUEEN专注于捕捉画面变化部分,对静态元素进行重复利用,显著提高了计算效率。

image.png

英伟达研究主管沙利尼·德梅洛指出QUEEN的核心优势:“我们成功打造了一个在压缩率、视觉质量、编码时间和渲染速度之间实现完美平衡的解决方案。”这一平衡使得实时自由视点视频传输成为可能。

技术方面,QUEEN采用了创新的3D高斯飞溅框架,通过学习连续帧间的高斯属性残差来实现高质量重建。研究团队还开发了量化稀疏框架,结合专门的latent-decoder和门控模块,进一步提高了数据存储效率。

这项技术的应用前景广阔:体育直播观众可自由选择观赛角度,音乐会爱好者享受沉浸式虚拟现实体验,远程教学学习者可根据需求选择视角学习烹饪或手工艺技能,工业领域也可用于仓库远程操作管理。

凭借快速的渲染速度和出色的视觉效果,QUEEN正在重塑流媒体体验的未来。这不仅是一次技术革新,更是为数字内容创作者和消费者开启了一个充满无限可能的新时代。