深度学习apex包安装问题

1、深度学习中有的任务会使用到apex这个包，但是这个包的安装会有很多问题，首先我们不可以使用

pip install apex 

这个包安装上去一般都是没有用的，需要使用下面的命令进行安装。
2、

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

使用git网速不够快的同学可以直接去官网下载再运行后面的命令网址：https://github.com/NVIDIA/apex
apex安装的时候需要torch需要和你的cuda版本对应上，不然会报错版本不对应。这时候我们可以再服务器上面安装多个cuda版本，这样就可以让cuda版本对应上了。这一部分大家可以去搜索如何在Ubuntu系统安装多个cuda版本即可。

3、这个是大家可能还会出现的错误

Attr ibuteError: module ' torch.distributed' has no attribute '_ reduce_ scatter_base‘
或者是
AttributeError: module 'torch.distributed' has no attribute '_all_gather_base' 

这时候大家可以去下载22.04dev版本再进行安装应该是可以解决问题的（我是通过这个解决的，记得把之前安装的先卸载再安装，就怕奇奇怪怪的bug，安装22.04dev的命令还是上面的一样的，版本去官网自行下载）。

cd apex-22.04-dev
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

最后我的环境安装是
python 3.7
cuda11.1
torch1.9.0+cu11
apex0.1(使用的22.04dev安装)