本文介绍: NeRF效果好,但是训练渲染很花时间;特别是对1080p分辨率渲染场景,现有方法无法实现实时渲染本文引入三个关键部分,实现sota视觉质量、较短训练时间和1080p分辨率下新视角实时渲染。。通过camera calibration中产生的稀疏点进行初始化。这种新的3D表达形式在保存NeRF优点的同时,避免了空白空间不必要的计算开销;。实现3D Gaussian的交替优化密度控制优化各向异性协方差矩阵实现场景的准确表达;Rendering

pdf | proj | code

目录

摘要

引言


alpha-blending和体渲染(volumetric rendering)本质上是相同的成像模型。对于体渲染方法:

其中sigma密度T是透光率,c是颜色,delta是相邻采样点的间隙sigma_idelta_i密度越大,alpha_i越接近1,该点越重要;之前点的密度和越大,T越大,该点越不重要。上式可以被重新组织为:

alpha-blending可以表示为:

其中,所有点根据前后关系排序c_i是该点颜色,alpha_i是该点所在2D高斯的概率密度乘以该点的不透明性(opacity)。

相较于之前的alpha-blending栅格化方法,本文提出可见性(visibility)排序。另外,本文反向传播梯度像素点中的所有splats栅格化所有各向异性splats

在世界坐标系下,3D Gaussians由三个系数定义均值mu,3D协方差矩阵Sigmaalpha

将世界坐标系下的3D Gaussians转换相机坐标下:

其中,W是世界坐标系坐标到相机坐标系坐标转换矩阵J是透视变换的Jacobian矩阵

参考:EWA Volume Splatting

方差矩阵具有物理含义,需要满足半正定条件考虑方差矩阵描述一个标准球体向椭球体的变化过程,对标准球体先放缩S,再旋转R

因此,缩放可以用三维向量描述,也即协方差矩阵的三个特征值旋转其实是三个特征向量,它们两两正交且模为1,通过分析可由四维向量描述

综上,一个3D Gaussian可由三个缩放系数、四个旋转系数、中心点位置p和不透明率alpha表示。除了上述提到的参数外,本文还用SH系数表示颜色。

Gaussian的优化过程中,本文考虑以下两种情况:

提出一种tile-based rasterizer

Pytorch + 用于光栅化的custom CUDA kernels

  • 30K迭代后,每个场景由200-500K Gaussians组成

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注