用Ollama 和 Open WebUI本地部署Llama 3.1 8B

说明： 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B

简介

Ollama

是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。

Ollama 

的主要功能是在Docker容器内部署和管理大型语言模型（LLM），使得用户能够快速地在本地运行这些模型。它简化了部署过程，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，例如Llama 3.1。本地部署，离线运行，数据无需上传云端，担心隐私泄露。

1、下载

Ollama

安装

注意Ollama默认安装在c盘，这样后面安装的大模型，都会安装在C盘，如果你的C盘空间吃紧的话，可以如下设置

设置系统环境变量->系统变量
OLLAMA_MODELS 
D:\OllamaFile\models(这是模型想安装的目录)

  官网地址：

https://ollama.com/

， 依据自己操作系统类型下载相应版本。

2、 下载Docker安装

Open WebUI 

在Docker环境中运行,下载Docker进行安装

  官网地址：

https://www.docker.com/

3、在Docker中安装open-webui

确认Docker已经运行。

  在

Open WebUI 

官网

https://docs.openwebui.com/

  复制以下命令运行

docker run -d-p3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  执行完以上的命令，会在docker中出现open-webui项目。通过

http://localhost:3000/

打开Open WebUI界面。

4、浏览器中打开Open WebUI

  第一次登录，要求你注册，注册信息保存在本地。第一个注册的用户默认为系统管理员。注册完成后来到一个类似ChatGPT的界面。

5、设置拉取模型。

  在第③步中，可以访问

https://ollama.com/library

,在这里有很多常用的模型。

我这里选取的是llama3.1

复制命令在cmd下执行，拉取model，大约4.7G。稍等一会会。

**或者复制大语言模型名称在

Open WebUI中

直接下载**

  同样的方法，可以安装其它模型了。

6、选择模型，让我们开始吧！

  选择模型后，就可以对话了。

工作空间的简单应用

在

https://openwebui.com/

可以选择相应预设模型，在页面中可以知道它采那个模型，还有相应的 System Prompt。

  综上所述，Ollama作为一个强大的开源大模型管理工具，它不仅能够助你高效地管理本地开源大模型，更能显著提升工作效率。通过其丰富的功能和灵活的配置选项，你可以轻松地组织、训练和调优各种模型，满足不同的应用需求。而Open WebUI的引入，提供了一个直观、便捷的Web界面，使你无需深入技术细节也能轻松访问和管理Ollama的接口。