LMFlow安装，训练个人专属ChatGPT，港科大开源LMFlow

基本安装
港大LMFlow地址

https://github.com/OptimalScale/LMFlow

个人gitlab地址

http://yaoisss.ddns.net:9003/yaoisss/LMFlow

相关下载个人NAS地址
个人NAS地址

https://yaoisss.ddns.net:52311/portal/apis/fileExplorer/share_link.cgi?link=Hm34QCg1DeZTn2m6N2NQdw

1. ubuntu server
2. 安装好后查看 驱动是否占用 安装依赖

sudovim /etc/modprobe.d/blacklist-nouveau.conf

blacklist nouveau
options nouveau modeset=0sudo update-initramfs -u

reboot

lspci |grep nouvea

aptinstall gcc g++ make

1. 安装NVIDIA驱动 nvidia驱动查找

https://www.nvidia.cn/download/find.aspx?lang=cn

1. 安装CUDA Toolkit

CUDA11.7 https://developer.nvidia.cn/cuda-11-7-0-download-archive

报错后面加入   --override

安装完后
vim ~/.bashrc
exportPATH="/usr/local/cuda-11.7/bin:$PATH"exportLD_LIBRARY_PATH="/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH"

1. 安装Anaconda
2. 运行

git clone https://github.com/OptimalScale/LMFlow.git

conda create -n lmflow python=3.9 -y

conda activate lmflow

conda install mpi4py

pip install -e .  -i https://pypi.tuna.tsinghua.edu.cn/simple

1. 出错修改 requirements.txt

numpy==1.24.2
datasets==2.10.1
peft @ git+http://yaoisss.ddns.net:9003/yaoisss/peft
torch==2.0.0
wandb==0.14.0
deepspeed==0.8.2
trl @ git+http://yaoisss.ddns.net:9003/yaoisss/trl.git#egg=trl-0.4.1
sentencepiece
transformers @ git+http://yaoisss.ddns.net:9003/yaoisss/transformers
flask
flask_cors

1. 手动安装 deepspeed 0.8.3，试了一下不一定0.8.2出问题，需要的可以手动安装

pip install deepspeed-0.8.3.tar.gz

1. 基本就好了
2. 使用都在 ./script 目录下