0
0

3D Gaussian Splatting Linux端部署指南（含Linux可视化）

3D Gaussian Splatting Linux端部署指南

朋友浩哥说环境是最难配的，配好环境，你就成功了一半！

项目地址

  1. windows部署版本：https://github.com/jonstephens85/gaussian-splatting-Windows
  2. windows和linux部署版本：https://github.com/graphdeco-inria/gaussian-splatting

部署记录

  1. 根据官方的环境配置environment.yml配置好环境，发现出了种种问题，先不管。
  2. 按教程准备好图片数据：【AI生成场景新突破】3D Gaussian Splatting入门指南_哔哩哔哩_bilibili+[视频文章]，由于我电脑没有gpu，linux服务器（rtx4090-24G）有，自己准备数据集需要用windows的colmap程序进行相机位姿计算，虽然可以下载no cuda版本，但是比较慢，于是直接使用官方数据集，建议先试用小型单物体数据集，训练速度快，如官方的卡车图片，这里使用官方covert好的tuck数据集，然后进行训练：
python train.py -s data/truck/

报错：没有子模块，原因其一，git clone添加了--recursive，但是由于网络原因没将子模块下载下来，原因二，实验时间2024年1月25官方源码缺少一个子模块，找不到了，在之前网友网盘备份那里复制一份。

  3. 子模块有了，手动继续安装子模块：

pip install submodules/diff-gaussian-rasterizatio/ 
pip install submodules/simple_knn/

又有报错：cuda和pytorch不匹配的问题，看来必须处理环境配置问题了。由于环境限制：linux服务器使用的是nvidia545显卡驱动，cuda12.3，备用cuda11.8，不能随便更改显卡驱动版本，对应的cuda版本应为11.8以上才能调用显卡。在使用官方环境配置environment.yml发现出现问题，在下载子模块时总是报错，由于安装子模块

pip install

使用的也是服务器系统环境的cuda库，更改bashrc环境变量选择服务器系统安装的cuda12.3和cuda11.8，都无法编译官方的pytorch1.12.1

d7c8757739844f7cbc5b82174ab9241e.pngcf6bd568f3bb4406aa5f7e7df39c8c3c.png

  4. 于是不用官方的，根据pytorch官方文档，使用pip方式，而非conda方式下载包，自己手动下载符合系统cuda环境的pytorch：（下面任选其一）

#torch 2.1.2 
pip install --pre torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple 
# CUDA 11.8 
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118 
# CUDA 12.1 
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu121

  5. 发现不管下载CUDA 11.8的pytorch还是CUDA 12.1版本的pytorch，都需要cuda12.1，于是下载cuda12.1，**系统允许存在多个cuda版本，实际使用时按需选择，更改bashrc****环境变量****或者为执行的代码添加一个环境路径参数就行。**下面是有效的一种安装cuda12.1的方式，**注意的是，安装时不要勾选下载驱动，否则会将545的****显卡****驱动覆盖掉。**

wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run 
sudo sh cuda_12.1.1_530.30.02_linux.run

  6. 更改bashrc环境变量，然后把cudnn的东西也复制到cuda12.1中，确保深度学习的部分也能用：![a1bc8284c9b449cdafa71df39329049a.png](https://img-blog.csdnimg.cn/direct/a1bc8284c9b449cdafa71df39329049a.png)

export PATH="/usr/local/cuda-12.1/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH"
export LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LIBRARY_PATH"

export CUDNN_INCLUDE_PATH="/usr/local/cuda-12.1/include"
export CUDNN_LIBRARY="/usr/local/cuda-12.1/lib64

最终的环境配置如下environment_sera.yml，但未试验：

name: gaussian_splatting
channels:
  - pytorch
  - conda-forge
  - defaults
dependencies:
  - plyfile=0.8.1
  - python=3.10.12
  - pip=22.3.1
  - pytorch=2.1.1
  - torchaudio=2.1.1
  - torchvision=0.16.1
  - tqdm
  - pip:
    - submodules/diff-gaussian-rasterization
    - submodules/simple-knn

  7. bashrc里更改环境变量使用cuda12.1库,重新下载子模块

pip install submodules/diff-gaussian-rasterization

,提示没有glm：fatal error: glm/glm.hpp: No such file or directory

sudo apt-get install libglm-dev

  8. 重新下载子模块

submodules/diff-gaussian-rasterization

，提示成功下载子模块d817d042e7d34bd486a211600b88745c.png

进行训练，发现又少了一个子模块

submodules/simple_knn

：5033b00c0d7645fa8017346551caf5cb.png

  9. 继续下载该子模块，下载成功

pip install submodules/simpe_knn/

a50cecc1814f4d75afd53b629479657d.png

  10. 至此，环境问题就解决掉了，继续训练数据，15分钟训练成功：

python train.py -s data/truck/

ab5d55c83a9e4622baf228406dbd0b44.png

L1是L1损失，PSNR是图像峰值信噪比，单位是dB，数值越大表示失真越小。因为数值越大代表MSE越小。MSE越小代表两张图片越接近，失真就越小。

好家伙，gpu利用率直接100：b768c0362da84f7699e06d16709f9989.png

由于训练未用

-m

参数指定用模型导出路径，生成的模型文件在训练的模型结构如下：74f9180390964667889aff7d0acefca8.png

若用

-m

参数指定用模型导出路径，再进行训练，模型文件有如下结构：

python train.py -s data/truck/ -m data/output

daa1d0240e4642429375940d03b2b411.png

10分钟训练完了train，23分钟训练完了drjohnson

事后实验，使用cuda12.3也可以进行训练，说明训练跟使用哪个cuda版本没有关系，而下载子模块需要对应的cuda版本，因为pip下载子模块时，构建 PyTorch C++ 扩展的 Python setuptools 脚本需要使用CUDA来加速运算，系统环境中需要使用pytorch对应的cuda版本才能顺利安装。

11. Linux端在线远程可视化训练进程

由于我的windows电脑没有gpu，不能用SIBR_gaussianViewer_app的windows版本，于是选择使用官方文档中的第二种方案：网络远程可视化，即linux自行构建SIBR_gaussianViewer_app，由于官方源码缺少SIBR_viewers的文件，再从网友网盘备份中拷贝一份进行构建：

Ubuntu的 22.04在运行项目安装程序之前，需要安装一些依赖项。

# Dependencies
sudo apt install -y libglew-dev libassimp-dev libboost-all-dev libgtk-3-dev libopencv-dev libglfw3-dev libavdevice-dev libavcodec-dev libeigen3-dev libxxf86vm-dev libembree-dev
#Project setup
cd SIBR_viewers
cmake -Bbuild . -DCMAKE_BUILD_TYPE=Release # add -G Ninja to build faster
cmake --build build -j32 --target install #j32使用系统最大内核数32，可以按需要分配内核数执行

报错：61c09fa20def49249eef6d7b59a5e929.png

找到：/home/wyc/sera_ws/gaussian-splatting/SIBR_viewers/extlibs/CudaRasterizer/subbuild/CMakeLists.txt9d4c25dbb44f46aba14e792ed67d7a5b.png

更改为本地路径

include(ExternalProject)

ExternalProject_Add(cudarasterizer-populate
    URL "/home/wyc/sera_ws/gaussian-splatting/submodules/diff-gaussian-rasterization"
    SOURCE_DIR "/home/wyc/sera_ws/gaussian-splatting/SIBR_viewers/extlibs/CudaRasterizer/CudaRasterizer"
    BINARY_DIR "/home/wyc/sera_ws/gaussian-splatting/SIBR_viewers/extlibs/CudaRasterizer/build"
    CONFIGURE_COMMAND ""
    BUILD_COMMAND ""
    INSTALL_COMMAND ""
    TEST_COMMAND ""
    USES_TERMINAL_DOWNLOAD YES
    USES_TERMINAL_UPDATE YES
)

罪魁祸首，下面的内容删掉/home/wyc/sera_ws/gaussian-splatting/SIBR_viewers/extlibs/CudaRasterizer/subbuild/cudarasterizer-populate-prefix/src/cudarasterizer-populate-stamp/cudarasterizer-populate-gitinfo.txt2dcdfb0cec8a407090a10356ab473458.png

再执行

cmake -Bbuild . -DCMAKE_BUILD_TYPE=Release

，执行成功！da9b45a5e230424abbeab03793a04a84.png

执行

cmake --build build -j32 --target install

，成功！0a9f892bb4884c19921385790dfaf040.png

经过试验发现，远程可视化软件只能连接正在训练的模型文件，才可以运行远程可视化：

python train.py -s data/truck/ -m data/output #调用GPU进行训练
./SIBR_remoteGaussian_app -s /home/wyc/sera_ws/gaussian-splatting/data/output #对正在训练的模型文件进行可视化

89f4d98024e542cfa99881519c2409ff.png 69bb93c6b8f94e00817a6ee9ac492525.pngbcbaa1adce4c4d4cac94de4321834fb3.png

准备自己的数据

需要软件：COLMAP、FFMPEG

参考博客：

  • 3D Gaussian Splatting复现-CSDN博客

  • Linux 编译安装colmap_linux colmap-CSDN博客

    1. FFMPEG安装：
// 删除所有安装的 ffmpeg
sudo apt-get remove ffmpeg
sudo apt-get purge ffmpeg
// 删除 Anaconda ffmpeg 模块
conda remove ffmpeg
重新安装
sudo apt-get install ffmpeg

2. COLMAP安装：
  1. 仓库：https://github.com/colmap/colmap
  2. 文档：https://colmap.github.io/install.html

安装依赖：

sudo apt-get install \
    git \
    cmake \
    ninja-build \
    build-essential \
    libboost-program-options-dev \
    libboost-filesystem-dev \
    libboost-graph-dev \
    libboost-system-dev \
    libeigen3-dev \
    libflann-dev \
    libfreeimage-dev \
    libmetis-dev \
    libgoogle-glog-dev \
    libgtest-dev \
    libsqlite3-dev \
    libglew-dev \
    qtbase5-dev \
    libqt5opengl5-dev \
    libcgal-dev \
    libceres-dev

配置和编译 COLMAP：

git clone https://github.com/colmap/colmap.git
cd colmap
mkdir build
cd build
cmake .. -GNinja #CMake预处理，生成Ninja构建系统所需的文件
ninja #默认使用系统最大可用cpu核心数进行编译，如果系统cpu有32个核，等效与ninja -j32
sudo ninja install

ninja

报错：3c389fa2c6c94c858f62ae5cbe7f2c8d.png

解决记录：

写个cuda程序，查询自己gpu架构版本

#include <iostream>
#include <cuda_runtime.h>

int main() {
    cudaDeviceProp prop;
    cudaGetDeviceProperties(&prop, 0); // Assumes one GPU device

    std::cout << "GPU Architecture: " << prop.major << "." << prop.minor << std::endl;

    return 0;
}

编译并运行

nvcc query_gpu_arch.cu -o query_gpu_arch
./query_gpu_arch

e4b15db7a7f54beaa709df273ad9271b.png

在CMakeList文件中添加一句设置gpu架构版本也没用461f030820dd4f2aaf271844b6e512f5.png

set(CMAKE_CUDA_ARCHITECTURES 8.9)

猜测分支3.10-dev太新不太支持自己的cuda，

git checkout 3.9

切换分支到3.9bc541508ef674fb886eb0b9cc1233332.png

继续

cmake .. -GNinja

，报错：588871b68e084d849c5463c77d56734d.png

添加

set(CMAKE_CUDA_ARCHITECTURES 8.9)

后继续

cmake .. -GNinja

，4f81d8b5bee2468cb48b03fec9182ece.png

ninja

编译失败，跟3.10-dev一样的报错，转而猜想gpu架构设置的格式不对，结合报错中出现的提示，将

8.9

改成

70，80，89，90

后，

cmake .. -GNinja

然后

ninja

都编译成功，反推之前3.10-dev也是这个原因，经过测试，正是gpu架构设置的格式的问题，不能带小数点。官方文档也给出了提示哈哈没看到:10234549fde945609e5cd0b349a7cd62.png

90719594546249b8a1bf6b985ff02a87.png

然后

sudo ninja install

安装colmap成功！

运行 COLMAP：

colmap -h
colmap gui

4a7183794fdb444b8381ee512d6b731a.png

打开官方数据看看点云和计算的相机位姿，File->Import model->data->truck->spase->07eee42e0982c4dab9510805a93ee4974.png41dc3ac7c181450da37e60b927ba2647.png

使用ffmpeg和colmap从视频准备数据：

参考视频：3D Gaussian Splatting本地部署【windows系统免环境配置】_哔哩哔哩_bilibili + [网盘code]

准备自己的视频，放在data文件夹下,

写一个脚本/home/wyc/sera_ws/gaussian-splatting/train_video.py:

import os
import subprocess

# 视频绝对路径
video_path = r"/home/wyc/sera_ws/gaussian-splatting/data/mouse.mp4"
# 切分帧数，每秒多少帧
fps = 2

# 获取视频文件名（不包含扩展名）
video_name = os.path.splitext(os.path.basename(video_path))[0]
# 获取视频文件所在目录
folder_path = os.path.dirname(video_path)
# 数据保存路径
data_path = os.path.join(folder_path, video_name)
os.makedirs(data_path, exist_ok=True)
# 图片保存路径
images_path = os.path.join(data_path, 'input')
os.makedirs(images_path, exist_ok=True)
# 模型保存路径
model_path = os.path.join(data_path, 'output')
os.makedirs(model_path, exist_ok=True)

# 脚本运行
# 视频切分脚本
command = f'ffmpeg -i {video_path} -qscale:v 1 -qmin 1 -vf fps={fps} {images_path}/%05d.jpg'
subprocess.run(command, shell=True)
# COLMAP估算相机位姿
command = f'python convert.py -s {data_path}'
subprocess.run(command, shell=True)
# 模型训练脚本，模型会保存在output路径下
command = f'python train.py -s {data_path} -m {model_path}'
subprocess.run(command, shell=True)

SIBR_remoteGaussian在线远程可视化

执行脚本，会得到如下目录结构，并执行可视化：

python train_video.py
./SIBR_remoteGaussian_app -s /home/wyc/sera_ws/gaussian-splatting/data/mouse/output

ce3fc1557b484145b4a2e336bf392dc5.png

d6e8e4a9e2f54692817046a3ddd056a1.png 23b6efef27f44c8780d5e86070fbac3d.png

训练完毕，打开colmap gui选择Import model from查看7000步点云和30000步点云：

68244a5fc20d40caae72e17e4075ad86.png

b15443f6e0a5442f92559432be1ed89a.png

e2c8180a9af040ddb692e9d08b8b771b.png

补充：sibr_3Dgaussian离线可视化训练好的模型

后面发现SIBR_gaussianViewer这个离线可视化程序也是可以运行的，跟SIBR_gaussianViewer windows版本是一样的，我之前以为只能使用sibr_remoteGaussian在线远程可视化程序呢。

执行，-m参数带的是训练好的模型：

./SIBR_gaussianViewer_app -m /home/wyc/sera_ws/gaussian-splatting/data/mouse/output

标签： linux 图像处理 3d
本文转载自: https://blog.csdn.net/yjboxes/article/details/136213935
版权归原作者 serapan 所有， 如有侵权，请联系我们删除。
登录后发布评论

“3D Gaussian Splatting Linux端部署指南（含Linux可视化）”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

在Ubuntu中自动挂载SMB/CIFS共享

【在Linux世界中追寻伟大的One Piece】Reactor反应堆模式

如果大家想在win7上使用pycharm，就不能使用2019.3之后的版本（内附下载不同pycharm版本的链接）

如何使用vscode进行代码格式化设置

史上最简单open-webui安装方式!!!

前端文件预览整合（一）

mysql 您要的日期查询都在这

文章导航