深度学习系列-----＞环境搭建（Ubuntu）

1、前言

电脑基础系统硬件情况：

系统：ubuntu18.04、显卡：GTX1050Ti；后续的环境搭建都在此基础上进行。

此次学习选择Pytorch作为深度学习的框架，选择的原因主要由于PyTorch 在研究领域特别受欢迎，较多的论文框架也是基于其开发。

2、anaconda+python3安装测试

在学习深度学习的过程中会涉及到使用不同版本python包的问题，而anaconda可以便捷获取包且对包能够进行管理。

step1： anaconda官网下载安装脚本（网址：Download Anaconda Distribution | Anaconda）

step2：执行安装脚本：

bash Anaconda3-5.1.0-Linux-x86_64.sh

安装过程中遇到Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]，输入no就行，其他的都是yes或者直接敲enter。

注：如果不需要打开Terminal窗口自动进入conda环境，可以执行命令：

conda config --set auto_activate_base false

step3: anaconda安装成功测试

执行命令如下命令：

conda --version

正常输出版本信息：

conda 4.4.10

step4：anaconda创建虚拟环境

创建名为：your_env_name的虚拟环境，python版本为3.6

conda create -n your_env_name python=3.6

conda创建环境失败，和网络有关的问题解决：

设置成离线模式：conda config --set offline true

常用指令：

激活进入虚拟环境：source activate your_env_name

退出虚拟环境：source deactivate

查看当前所有的虚拟环境：conda info -e

参考链接：

Ubuntu18.04安装Anaconda(最新最全亲测图文并茂)-CSDN博客

关于anaconda创建环境时出现CondaHTTPError问题的终极解决办法_linux的anaconda创建环境网络异常-CSDN博客

3、nvidia-driver + cuda + cndnn安装测试

安装NVIDIA驱动、cuda以及cndnn是为了学习过程中使用GPU。电脑上没有GPU也无妨，前期学习小模型时，也可以使用CPU。

step1： nvidia-driver安装

显卡驱动安装方式有多种，这里采用比较简单的方式，输入指令：

ubuntu-drivers devices

会输出所有适配当前显卡的驱动：

distro为

专有，

non-free

闭源，最好是

-server

结尾的安装包，这里选择了nvidia-driver-470-server安装：

sudo apt install nvidia-driver-470-server

重启系统：

sudo reboot

检查是否安装成功指令：

nvidia-smi

输出如下表示安装成功：

参考：超详细! Ubuntu 18.04 安装 NVIDIA 显卡驱动 | XUNGE's Blog

step2： cuda安装

cuda和cndnn的安装需要注意和显卡驱动版本对齐，在cuda官网中有对应关系（参考上图中显卡驱动和所对应的cuda版本，这里安装cuda版本是向下兼容）：

1. CUDA 12.6 Release Notes — Release Notes 12.6 documentation

确定好cuda版本后，通过runfile进行安装(https://developer.nvidia.com/cuda-toolkit-archive)：

wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run
sudo sh cuda_11.4.0_470.42.01_linux.run

如果有协议，输入accept就行。然后到达是否选择安装显卡驱动时，要取消掉，否则会捆绑安装，后续会出问题：

继续安装完成后，使用命令查看安装情况：

nvcc -V

如果依旧显示无相关信息，则大概率是因为环境变量没有添加，则需要打开bashrc文件，添加路径：

sudo gedit ~/.bashrc

文件中添加：

export PATH="/usr/local/cuda-11.4/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH"

最后再：

source ~/.bashrc

参考链接：

https://zhuanlan.zhihu.com/p/122286055（cuda安装）

step3： cndnn安装

在官网（https://developer.nvidia.com/rdp/cudnn-archive）中找到对应系统和cuda的cndnn版本，并下载如下3个文件：

执行命令依次安装：

sudo dpkg -i libcudnn8-xxxx_amd64.deb
sudo dpkg -i libcudnn8-xxxx_amd64.deb
sudo dpkg -i libcudnn8-xxxx_amd64.deb

测试cndnn安装情况：

cp -r /usr/src/cudnn_samples_v8/ $HOME

进入文件中进行编译：

cd  ~/cudnn_samples_v8/mnistCUDNN
sudo make clean 
sudo make

编译完成后，执行：

sudo ./mnistCUDNN

输出“Test passed!”表示安装成功：

参考链接：

https://zhuanlan.zhihu.com/p/126997172（cndnn安装）

4、pytorch + pycharm

Pytorch可以使用conda install和pip install安装：

step1： conda install 安装

conda install国内安装需要先替换源，参考：Ubuntu anaconda换源(最新最全亲测)-CSDN博客

替换好后，在conda官网找到对于NVIDIA驱动版本的pytorch版本：

Previous PyTorch Versions | PyTorch

conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.3 -c conda-forge

如果替换源后使用conda install一直还是出现源的问题，可以尝试使用pip install进行。

step2： pip install 安装

pip install torch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1

安装完成后，如果import torch找不到对应模块，但是在pip list中又有该模块（原因是这里的pip是使用的conda的pip，直接安装到了conda的python目录下，而在个人环境中执行python命令时，使用的是环境的python路径，因而无法找到）。解决办法有如下两种：

方法1： 修改当前环境下site.py中pip install的安装路径

参考：https://blog.51cto.com/u_15060549/4662570 执行指令：

sudo gedit /home/xxx/anaconda3/envs/torch_study/lib/python3.6/site.py

修改内容（原来两个路径都为None）：

USER_SITE = '/home/xxx/anaconda3/envs/torch_study/lib/python3.6/site-packages'
USER_BASE = '/home/xxx/anaconda3/envs/torch_study'

方法2：（如果方法1未能解决，则直接在安装包的时候指定安装路径到对应环境的python路径）

pip install torch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 --target=/home/xxx/anaconda3/envs/torch_study/lib/python3.6/site-packages

step3： pytorch安装成功测试

打开Terminal窗口并进入到虚拟环境中，执行如下命令：

python
import torch
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(device)

输出：cuda（表示gpu可用，且环境安装成功）

step4： pycharm安装测试

官网下载社区版：Download PyCharm: The Python IDE for data science and web development by JetBrains