0


手把手带你linux部署清华大学大模型最新版 chaglm2-6b

准备工作:

# 下载项目源代码git clone https://github.com/THUDM/ChatGLM2-6B
# 切换到项目根目录cd ChatGLM2-6B
# 安装依赖
pip install -r requirements.txt
# 安装web依赖
pip install gradio

如果安装出现问题,可尝试手动分别安装torch
1 # 1第一步安装虚拟环境并激活环境

conda create -n ChatGLM2 python=3.10.6
conda activate ChatGLM2 

2nvidia-smi查看cuda版本,12.0

在这里插入图片描述
3 安装torch第一种方式
pytorch官网:https://pytorch.org/
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

经过多次尝试,发现conda装,真的很快,真香。前几次尝试用pip装torch都会出现timeout的错误,这个跟服务器有关系,视情况而定。
在这里插入图片描述

# 安装依赖
pip install -r requirements.txt

在这里插入图片描述
二、准备工作。安装依赖包的同时,也可以先手动下载模型包:
在这里插入图片描述

1、工程文件准备
整个工程需要从两个远程仓库克隆,一个是 github 上的源码,一个是 HuggingFace 上的模型。

对于源码,由于总体积较小,因此可直接从网页下载 zip 包后解压,也可使用 git 命令(电脑需要提前装好 git )克隆至本地文件夹中:

git clone https://github.com/THUDM/ChatGLM2-6B

对于模型,由于存在7个体积较大的 checkpoint 文件,若直接 clone 可能耗时过久或网络连接不够稳定,可以采用大、小文件分别下载的方式。其中大文件可从 清华云 手动下载,小文件主要为模型实现文件,数量不多且体积较小(算上 tokenizer.model 一共11个文件),可采用两种方式下载,一种是在 HuggingFace 页面手动一个一个下载,另一种是利用 GIT_LFS_SKIP_SMUDGE 参数跳过大文件一次性克隆整个工程(电脑需要提前装好 Git LFS)

GIT_LFS_SKIP_SMUDGE=1git clone https://huggingface.co/THUDM/chatglm2-6b

最后再将前面手动下载好的大文件拷入替换,构成完整的模型。

需要注意的坑:

1)该命令在 powershell 中会报错,提示不认识 GIT_LFS_SKIP_SMUDGE 命令,放在 gitbash 终端中则可顺利执行;

2)被该命令跳过的“大文件”不仅有 7 个 .bin 文件,还包括 1.02MB 的 tokenizer.model。

模型文件理论上可存放于任意位置,参考官方演示视频将其平行于源码文件夹,即整个工程文件的目录结构如下:

在这里插入图片描述

根据目录结构,修改源码目录下的 web_demo.py 文件,将两处 THUDM/chatglm2-6b 替换为 model :

tokenizer = AutoTokenizer.from_pretrained("model", trust_remote_code=True)
model = AutoModel.from_pretrained("model", trust_remote_code=True).cuda()

在这里插入图片描述

如果想使用命令行与模型交互,则需要修改 cli_demo.py。web_demo2.py 同理 。

三、运行模型
文件夹层面 cd 至web_demo.py文件夹,环境层面激活 chatglm2-6b,然后执行:

python web_demo.py

在这里插入图片描述
运行完之后就会弹出该页面:
在这里插入图片描述

需要注意的坑:

1)使用 web_demo 时不能开 VPN,否则会弹出 Expecting value: line 1 column 1 (char 0)错误;

2)如使用 web_demo2,则需要按官网提示额外安装 streamlit 和 streamlit-chat,且启动命令为

streamlit run web_demo2.py 。

四、体验
推理速度相比上一代有明显的提升,但性能提升感知不强。期待团队未来推出13B、30B、65B等更大规模的模型。

标签: chaglm2 大模型

本文转载自: https://blog.csdn.net/stay_foolish12/article/details/131437090
版权归原作者 stay_foolish12 所有, 如有侵权,请联系我们删除。

“手把手带你linux部署清华大学大模型最新版 chaglm2-6b”的评论:

还没有评论