部署环境
- Windows 11 64 bits
- Visual Studio 2022
- CUDA v11.8
- Python 3.10
- PyTorch 2.0.0+cu118
下载DeepSpeed
git clone https://github.com/microsoft/DeepSpeed.git
需要修改的文件
DeepSpeed\setup.py
*** 添加以下三行环境变量
os.environ['DISTUTILS_USE_SDK']='1'
os.environ['DS_BUILD_AIO']='0'
os.environ['DS_BUILD_SPARSE_ATTN']='0'
DeepSpeed\csrc\quantization\pt_binding.cpp
*** 修改类型 std::vector<long int> 为 std::vector<long long>
DeepSpeed\csrc\transformer\inference\csrc\pt_binding.cpp
*** 参数需要加上 static_cast<int64_t>(...)
安装DeepSpeed
- 用管理员权限打开“x64 Native Tools Command Prompt for VS 2022”
- （如果使用了任何一款conda）激活Python环境。比如Anaconda3，就运行C:\ProgramData\anaconda3\Scripts\activate.bat
- 进入DeepSpeed的文件夹，运行build_win.bat。
- Build成功后，卸载旧deepspeed然后安装dist下面的deepspeed*.whl。
pip uninstall -y deepspeedpip install "dist\deepspeed-*.whl"
标签：
windows
本文转载自: https://blog.csdn.net/syson/article/details/132200395
版权归原作者 syson 所有， 如有侵权，请联系我们删除。
版权归原作者 syson 所有， 如有侵权，请联系我们删除。