Ubuntu22.04+GPU4090 的 esmfold+openfold 安装全流程

文章目录

前言

机器学习的各种软件版本对应真的是深度学习初学者（我）的一生之敌啊，继上一次部署了一周的colabfold后，如今我又开始和esmfold的安装在掰头了，还好这次只花了两天就取得了阶段性胜利。本文主要记录一下配置的全流程以及主要问题的解决。

关键词

esmfold安装全流程，GPU配置和部署，github克隆和安装

主要参考

一、conda配置esmfold基础环境

step1. 将以下内容保存为：

conda_environment.yml

name: esmfold
channels:
 - conda-forge
 - bioconda
 - pytorch
dependencies:
 - conda-forge::python=3.7
 - conda-forge::setuptools=59.5.0
 - conda-forge::pip
 - conda-forge::openmm=7.5.1
 - conda-forge::pdbfixer
 - conda-forge::cudatoolkit==11.3.*
 - conda-forge::cudatoolkit-dev==11.3.*
 - conda-forge::einops==0.6.1
 - conda-forge::fairscale
 - conda-forge::omegaconf
 - conda-forge::hydra-core
 - conda-forge::pandas
 - conda-forge::pytest
 - bioconda::hmmer==3.3.2
 - bioconda::hhsuite==3.3.0
 - bioconda::kalign2==2.04
 - pytorch::pytorch=1.12.*

step2. 构建conda环境

conda env create -f conda_environment.yml ##创建esmfold环境

step3. 检查conda安装包的版本号

conda env list ##查看刚构建的conda环境
conda activate esmfold ##进入构建的conda环境
conda list ##列出此conda环境的所有软件包

step4. 将以下内容保存为：

pip_requirements.txt

biopython==1.79deepspeed==0.5.9
dm-tree==0.1.6
ml-collections==0.1.0
numpy==1.21.2
PyYAML==5.4.1
requests==2.26.0
scipy==1.7.1
tqdm==4.62.2
typing-extensions==3.10.0.2
pytorch_lightning==1.5.10
wandb==0.12.21
biotite==0.39.0
matplotlib
joblib

step5. pip更新安装包版本

pip install-r pip_requirements.txt

二、esmfold安装

按照官网教程，下一步就应该跑这几个

pip

，然后就完美收官了！BUT！以我半年来装带显卡的深度学习软件经验来看，配置可能还会和本机原有配置冲突，果不其然，openfold就是怎么也装不上。

pip install fair-esm  # latest release，OR
pip install git+https://github.com/facebookresearch/esm.git  # bleeding edge, current repo main branch
pip install"fair-esm[esmfold]"# OpenFold and its remaining dependency
pip install'dllogger @ git+https://github.com/NVIDIA/dllogger.git'
pip install'openfold @ git+https://github.com/aqlaboratory/openfold.git@4b41059694619831a7db195b7e0988fc4ff3a307'

如果有小伙伴在这一步就完美通关了，恭喜你，可以直接跳过第三部分openfold的曲折安装直接调用程序了！

三、openfold安装

由于实在不清楚git+https://github.com/aqlaboratory/openfold.git@4b41059694619831a7db195b7e0988fc4ff3a307是openfold的哪个版本号，所以下文安装的是目前最新的openfold

v.2.1.0

更正：由于后续发现只有openfold
v.1
才能正常使用esmfold模拟，下文重新介绍如何安装openfold
v.1

（备注：使用openfold

v.2.1.0

时模拟出现的问题：Keys ‘trunk.structure_module.ipa.linear_q_points.linear.weight, trunk.structure_module.ipa.linear_q_points.linear.bias, trunk.structure_module.ipa.linear_kv_points.linear.weight, trunk.structure_module.ipa.linear_kv_points.linear.bias’ are missing.）
（建议：step2-5是我安装时遇到的问题及解决办法，给大家提供个参考。建议大家运行完step1后根据自己安装的报错信息找相应的问题，无需按照我的顺序安装）

step1：Github克隆特定版本openfold并安装

https://blog.csdn.net/qq_45961101/article/details/130384117
https://blog.csdn.net/weixin_44789022/article/details/138523343
重新再看这段信息，会发现救赎之道就在其中。所有pip install ‘git’ 失败的都可以尝试下以下方法。

在这里插入图片描述

## 下载最新版本的openfold（弃用）# git clone --depth=1 https://github.com/aqlaboratory/openfold.git ## 下载指定版本的openfoldgit clone --filter=blob:none --quiet https://github.com/aqlaboratory/openfold.git ./openfold
cd ./openfold/
git rev-parse -q--verify'sha^4b41059694619831a7db195b7e0988fc4ff3a307'git fetch -q https://github.com/aqlaboratory/openfold.git 4b41059694619831a7db195b7e0988fc4ff3a307
git checkout -q 4b41059694619831a7db195b7e0988fc4ff3a307

运行完这几步，会发现在./openfold/setup.py里version由原来的

2.0.0

变成了

1.0.0

，说明指定版本openfold下载成功。
在这里插入图片描述

## 安装
pip install-e.

step2：mkl版本问题

报错：“undefined symbol: iJIT_NotifyEvent” 解决方法：对mkl进行降级 https://blog.csdn.net/mr_hore/article/details/138961434

conda uninstall mkl
conda installmkl=2018-c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/

step3：pytorch+gcc+cuda对应问题

提供一下我多次尝试安装成功的配置（网上也有很多提到配置pytorch和cuda配置的问题，但很少会提到偶尔也会出现的gcc配置问题）：pytorch1.12.1+cuda11.3+cudnn8.9+gcc7
(备注：有时候不改gcc版本也可安装成功)

##cuda和cudnn只能在nvidia下载，conda下载cuda环境对openfold不管用#https://blog.csdn.net/ksws0292756/article/details/80120561

##conda下载gcc和gxx
conda install-c moussi gcc_impl_linux-64=7.3.0
conda install-c moussi gxx_impl_linux-64=7.3.0
cd /home/line2/anaconda3/envs/esmfold_env/bin
##链接到gcc和gxx(进入自己的bin看叫gcc和gxx什么名字)ln-s ./x86_64-conda_cos6-linux-gnu-gcc ./gcc
ln-s ./x86_64-conda_cos6-linux-gnu-g++ ./g++

到此为止，在自己的conda环境下检查cuda和gcc应该都是对应新安装的版本

nvcc -V##cuda版本
gcc -v##gcc版本

在这里插入图片描述

step4：torch-gpu未安装

报错：“No CUDA runtime is found, using CUDA_HOME=‘/usr/local/cuda’”解决办法：安装对应的torch https://pytorch.org/get-started/previous-versions/

pip installtorch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html
conda installpytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3-c pytorch

step5： setup.py更改

报错：“subprocess.CalledProcessError: Command ‘[‘ninja‘, ‘-v‘]‘ returned non-zero exit status 1” 解决办法：https://blog.csdn.net/fq9200/article/details/125362088 将setup.py中的"cmdclass={‘build_ext’: BuildExtension}”这一行改为“cmdclass={‘build_ext’: BuildExtension.with_options(use_ninja=False)}"
报错：“nvcc fatal : Unsupported gpu architecture ‘compute_89’” 解决办法：将setup.py中"f’arch=compute_{major}{minor},code=sm_{major}{minor}‘，"改为"f’arch=compute_70,code=sm_70’,"（备注：理论上替换成你的nvcc支持的compute构架就行，详见后文小TIPS-2）

step6：openfold成功安装

在这里插入图片描述

四、成功调用测试

将以下内容保存为：

test.fasta

>test
MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLAGG

运行测试代码

esm-fold -i test.fasta -o ./

在这里插入图片描述
恭喜！完结撒花！

五、其他可行方案和小TIPS

小TIPS-1：miniforge的mamba

我发现用miniforge3构建esmfold的conda环境比用anaconda3构建的少很多报错（本来openfold官网推荐的也是miniforge的mamba安装哈哈），推荐大家尝试miniforge3安装。

mkdir miniforge
cd miniforge
wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge-pypy3-Linux-x86_64.sh
bash Miniforge3-Linux-x86_64.sh

小TIPS-2：如何查看自己显卡构架信息

网页搜索：NVIDIA Ada（替换成自己显卡架构名字） GPU Architecture Compatibility

nvidia-smi -q|grep-i arch ##方法一：查看显卡构架名字
nvcc --list-gpu-arch ##方法二：直接查看支持的compute构架

其他可行方案

所有步骤运行下来会发现esmfold安装的核心在于正确安装openfold

v.1.0.0

，既然如此我们打蛇打七寸，直接先参考openfold安装步骤安装openfold

v.1.0.0

，然后在openfold

v.1.0.0

环境中补充安装esmfold即可（两者给出的environment.yml基本是一样的）

cd openfold
## 安装完成openfold
/home/line2/miniforge3/bin/mamba env create -n openfold_venv -f environment.yml
#conda config --show envs_dirs#conda config --append envs_dirs /home/line2/miniforge3/envs
conda activate openfold_venv
bash scripts/install_third_party_dependencies.sh
pip install-e.## 安装完成esmfold
pip install fair-esm  # latest release，OR
pip install git+https://github.com/facebookresearch/esm.git  # bleeding edge, current repo main branch
pip install"fair-esm[esmfold]"## 成功

六、更新信息

20240730 第一次更新：更正安装openfold版本，增加调用数据测试。

总结

世上无难事，只怕有心人。

标签： linux ubuntu github

本文转载自: https://blog.csdn.net/weixin_52004233/article/details/140044303
版权归原作者 猪仔的游学日志 所有，如有侵权，请联系我们删除。

Ubuntu22.04+GPU4090 的 esmfold+openfold 安装全流程

文章目录

前言

关键词

主要参考

一、conda配置esmfold基础环境

step1. 将以下内容保存为：

step2. 构建conda环境

step3. 检查conda安装包的版本号

step4. 将以下内容保存为：

step5. pip更新安装包版本

二、esmfold安装

三、openfold安装

step1：Github克隆特定版本openfold并安装

step2：mkl版本问题

step3：pytorch+gcc+cuda对应问题

step4：torch-gpu未安装

step5： setup.py更改

step6：openfold成功安装

四、成功调用测试

五、其他可行方案和小TIPS

小TIPS-1：miniforge的mamba

小TIPS-2：如何查看自己显卡构架信息

其他可行方案

六、更新信息

总结

发表评论

“Ubuntu22.04+GPU4090 的 esmfold+openfold 安装全流程”的评论:

关于作者

overfit同步小助手

相关阅读

文章导航