详细博客使用可以参考3D高斯点云CUDA版本数据制作与demo运行。
3D高斯点云技术的主要融合手段
在3D高斯点云(3D Gaussian Splatting,3DGS)技术的发展中,前端和后端的有效结合成为了实现高效且高质量渲染的关键。以下是3DGS主要融合的手段,包括前端点云图像融合、后端高斯训练以及混合高斯模型的介绍.
前端点云图像融合
前端部分主要负责从传感器(如相机、激光雷达等)获取数据,并通过相应的算法将这些数据融合成点云图像。以下是一些常用的前端融合方法:
CoCo-LIC:这是一种协同点云和图像传感器融合的方法,旨在通过结合多种传感器的数据,提高环境感知的精度。CoCo-LIC利用深度学习技术优化数据融合过程,从而提升SLAM(Simultaneous Localization and Mapping)系统的表现。
FAST-LVIO:该方法采用紧耦合的视觉惯性里程计(Visual-Inertial Odometry)技术,能够实现实时的点云生成和地图构建。通过将视觉数据与惯性测量单元(IMU)数据结合,FAST-LVIO在动态环境中仍能保持高精度。
FAST-LIO2:作为FAST-LVIO的改进版本,FAST-LIO2引入了更高效的优化算法,能够在更复杂的环境中进行实时点云图像融合。其核心思想是通过局部优化来提高全局地图的精度。
DLIO:深度学习视觉惯性里程计(Deep Learning Visual-Inertial Odometry)利用深度学习模型对传感器数据进行处理,以增强对动态场景的适应能力,进而提升点云图像的质量和准确性。
这些前端方法通过结合不同的传感器数据,为后端的高斯训练提供了高质量的点云输入。然后再+后端高斯训练来完成整个训练。后端部分主要负责对前端生成的点云进行训练与处理,以实现高效的渲染与表示。以下是一些重要的后端高斯训练方法:
Gaussian-Splatting:这一方法通过将点云表示为高斯分布,能够有效处理大规模点云数据。Gaussian-Splatting通过将点云中的每个点视为一个高斯核,利用其光照和颜色信息,实现高质量的渲染效果。
Mip-Splatting:Mip-Splatting是对Gaussian-Splatting的扩展,考虑了多分辨率的高斯核,使得在不同视距下的渲染效果更加平滑。通过采用多级别的高斯核,Mip-Splatting能够在渲染时动态选择合适的细节层次,提高性能。
Street Gaussians:这一方法专注于街道场景的高斯表示,特别适用于城市环境中的点云数据。Street Gaussians利用场景的几何特征,优化了高斯的分布和密度,从而提升渲染的真实感。
OpenSplat:OpenSplat是一个开源项目,旨在提供高效的高斯点云处理框架。它集成了多种高斯处理技术,支持用户根据具体需求进行灵活配置。
gaussian-splatting-cuda:这是一个基于CUDA实现的高斯点云处理库,利用GPU加速高斯渲染和训练过程。通过并行计算,gaussian-splatting-cuda能够显著提高渲染速度,适用于实时应用场景。
混合高斯模 型 混合高斯模型(Mixture of Gaussians)在3DGS中具有重要的应用,特别是在处理复杂场景时,能够提供更灵活的表示。
LOG-3DGS:这是一个基于对数高斯点云表示的模型,旨在解决传统高斯模型在动态场景中的局限性。通过对数变换,LOG-3DGS能够更好地捕捉场景的细节变化,提高渲染的稳定性和准确性。
GS-LIVM:该方法结合了高斯点云和视觉惯性里程计(LIVM)技术,能够在动态环境中高效地进行点云生成与处理。GS-LIVM利用高斯模型的优势,在保证渲染质量的同时,提升了系统的实时性和鲁棒性。
注意我们的代码在根目录,如果需要运行SIBR_viewers,需要先执行export DISPLAY=:99,否则无法在5902端口的vnc上打开。目前Novnc密码为:12345678