0


【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库

书接上文,由于家境贫寒的原因,导致我本地的GPU资源无法满足搭建Langchain-Chatchat本地知识库的需求,具体可以看一下这篇文章,于是我只能另辟蹊径,考虑一下能不能白嫖一下云服务器资源,于是去找网上找,您还别说,还真有,具体的领取方法可以查看我的这篇文章:【AI】阿里云免费GPU服务资源领取方法。

1.准备工作

1.1进入云服务器

服务器资源准备好之后就可以去做我们的开发任务了,首先在阿里云人工智能PAI控制台打开我们的实例。
在这里插入图片描述
打开之后如下图所示:
在这里插入图片描述

1.2查看服务器磁盘情况,创建本地工作目录

这一步可以省略,只是为了保险起见,我们查看一下磁盘容量及挂载情况,因为模型通常比较大,会比较浪费磁盘资源,我们先查看一下最大的磁盘资源挂载哪个目录下面,可以在那个目录下面操作我们的数据。

在主界面的Terminal页面,输入

lsblk

查看磁盘挂载情况:
在这里插入图片描述
可以看到我们当前的目录/mnt/workspace是建立在100G的磁盘之上的,可以放心使用。

1.3拉取源码,并安装依赖

拉取源码可以直接使用Git工具,这个镜像中已经安装完成,不需要我们再进行安装了。
我们在工作目录下创建一个文件夹,用于我们的项目,然后再将代码拉去到这个文件夹下面。

mkdir chatchat
cd chatchat
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 进入项目内部cd# 进入目录cd Langchain-Chatchat
# 安装全部依赖
pip install-r requirements.txt 

1.4下载模型文件

由于我们在服务器上,下载速度不需要担心,我们可以使用git来拉取模型文件。

git lfs installgit clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

这里的模型文件位于huggingface,如果不具备魔法上网的能力话,是没有办法拉取下来的,所以我们换成国内镜像魔搭社区

git lfs installgit clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git

2.运行模型

2.1 初始化知识库和配置文件

python copy_config_example.py
python init_database.py --recreate-vs

2.2 一键启动

python startup.py -a

等待模型启动
在这里插入图片描述
点击url就可以跳转到我们本地的浏览器,展示知识库对话界面:
在这里插入图片描述

3.本地知识库

3.1 测试sample知识库

模型启动后自动创建了一个测试的知识库,我们可以用来测试一下知识库对话:
左侧侧边栏选择:
在这里插入图片描述
知识库这边默认就是sample知识库
在这里插入图片描述
然后可以在右边的对话框中输入测试的问题了:

在这里插入图片描述

3.2 创建个人知识库

在知识库管理中选择新建知识库:
在这里插入图片描述
填入知识库的名字即可创建完成。
然后上传知识库文档,注意如果上传txt文档时,要注意文档编码是否是utf-8,否则容易出错
在这里插入图片描述
选中下图中的文档,然后点击

添加至向量库

,然后构建向量,点击

依据源文件重建向量库

完成知识库创建
在这里插入图片描述
然后就可以进行本地知识库问答了。
测试中使用了ChatGLM3-6B模型和embedding模型bge-large-zh,由于显存问题,又出现了out of memory的问题,看来16g的显存也不足以满足模型运行需求。测试使用int8量化模型:
修改配置文件:
在这里插入图片描述
然后重新运行

python startup.py -a

,可以正常使用了。问答效果如下:

在这里插入图片描述


本文转载自: https://blog.csdn.net/zhoulizhu/article/details/135194056
版权归原作者 AI柱子哥 所有, 如有侵权,请联系我们删除。

“【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库”的评论:

还没有评论