0


【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布

【ChatGLM】在电脑部署属于自己的人工智能

1、 前言

本文能实现在自己的电脑或云服务器上部署属于自己的语言AI——ChatGLM-6B,可以离线使用,也可以生成web网页在线发给朋友尝试。

ChatGLM-6B 是一个由清华大学的团队开源的、支持中英双语问答的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。本文旨在介绍如何在电脑部署属于自己的人工智能/可离线/可发布。这是一个有趣而有意义的项目,可以让你体验到人工智能的魅力,也可以让你拥有一个自己定制的智能助手。详情点击参考ChatGLM开发者博客

GPT 模型目前只有 GPT-2 的小规模版本(1.5 亿参数)是开源的,其它版本都是闭源的,只能通过 OpenAI 的 API 来访问。ChatGLM-6B 是完全开源的,可以在Github下载和使用。GPT 模型的可用性受到限制,需要申请权限和付费才能使用。ChatGLM-6B 的可用性更高,可以在本地部署和修改。

ChatGLM-6B 和 GPT 模型对比

在这里插入图片描述

2、虚拟环境搭建

要搭建 conda 虚拟环境,你需要先安装 conda ,它是一个用于管理 Python 和其他语言的包和环境的工具。你可以从 https://www.anaconda.com/products/individual 下载并安装 Anaconda 或 Miniconda。

创建一个虚拟环境,并且指定其中的 Python 版本,这里使用了python3.10:

conda create --name myenv python=3.10

( myenv 是你想要给这个环境起的名字)。
激活这个虚拟环境:

conda activate myenv

,这样你就可以在这个环境中安装和使用包了。

3、下载安装所需的依赖

点击前往GitHub下载作者开源的文件接着进入创建好的conda虚拟环境中,进入开源文件所下载到的文件夹,例如我存放在X:\python\glm310\ChatGLM-6B中。用以下命令

cd /d X:\python\glm310\ChatGLM-6B

进入

用以上命令即可进入

接着输入

pip install -r requirements.txt

安装所需要的依赖项
在这里插入图片描述
由于安装的依赖项中的torch模块是only cpu的,即不能把模型放进显卡运算的版本,所以我们在下载完毕后,在控制台输入

pip uninstall torch

卸载torch。点击进入pytorch官网翻到主页下端根据自己安装的cuda版本选择下载对应的torch-gpu。
复制划线处命令去控制台运行
如何查看cuda版本与显卡信息在控制台输入

nvidia-smi

即可。
在这里插入图片描述
如果没有安装cuda的请参考 在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境(新手必看!简单可行!),cuda版本推荐cuda 11.7。

4、ChatGLM模型下载与修改

点击进入作者的网盘下载模型
在这里插入图片描述
把他们下载到电脑,例如我存放在D:\ChatGLM-6B中。进入刚开始下载开源文件的文件夹打开web_demo.py文件,修改模型。

在这里插入图片描述
修改模型加载路径为模型下载的地址

tokenizer = AutoTokenizer.from_pretrained("D:\chatGLM", trust_remote_code=True)
model = AutoModel.from_pretrained("D:\chatGLM", trust_remote_code=True).half().quantize(4).cuda()
model = model.eval()

根据自身的显存修改模型,例如我的电脑显存为6G,即修改为

`# 按需修改,目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained("D:\chatGLM", trust_remote_code=True).half().quantize(4).cuda()

`在这里插入图片描述
若要在线发布,把web_demo.py中最后一段代码的share=False改成Ture即可

demo.queue().launch(share=True, inbrowser=True)

5、美化与发布

美化生成的界面,最简单的方法就是在以下这行代码增加主题参数,gradio模块预设了多种不同的生成web的主题,详情可参考gradio官网

`with gr.Blocks(theme=Soft())as demo:`

最后点击运行即可

在这里插入图片描述

顺便提一句:在控制台输入

nvidia-smi -l 1

可以即时监控gpu显存使用情况

效果图

在这里插入图片描述
生成在线链接发送给到微信打开效果图
在这里插入图片描述

参考文献

A. Zeng等, 《GLM-130B: An Open Bilingual Pre-trained Model》, 发表于 The Eleventh International Conference on Learning Representations, 2月 2023. 见于: 2023年3月30日. [在线]. 载于: https://openreview.net/forum?id=-Aw0rrrPUF

开发者GitHub:https://github.com/THUDM/ChatGLM-6B


本文转载自: https://blog.csdn.net/Dec1steee/article/details/129846815
版权归原作者 Dec1steee 所有, 如有侵权,请联系我们删除。

“【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布”的评论:

还没有评论