linux系统部署ollama、open-webui

算力平台

本文章基于厚德云算力

部署方式

ollama是使用官方 curl -fsSL https://ollama.com/install.sh | sh
open-webui是docker启动，docker正常启动，使用github推荐的

一、安装ollama

1、命令行下载并执行

curl -fsSL https://ollama.com/install.sh | sh

如果出现curl: (22) The requested URL returned error: 404，可多尝试几次

2、查看是否安装成功

ollama

3、常用命令

ollama ps 查看正在运行的模型
ollama list 查看已经下载的模型列表
ollama help 查看ollama相关命令

4、运行模型

以千问大模型为例，包括拉取模型和启动

ollama run qwen2:7b

ollama模型库：https://ollama.com/library

https://ollama.com/library/qwen2

运行结果

5、查看服务

 netstat -tnlp

6、修改配置文件

默认ollama绑定在127.0.0.1的11434端口，修改/etc/systemd/system/ollama.service，在[Service]下添加如下内容，使ollama绑定到0.0.0.0的11434端口，这样就可以远程访问，openwebui即便是在docker中部署也可以访问到

Environment="OLLAMA_HOST=0.0.0.0"

7、重新启动服务

sudo systemctl daemon-reload
sudo systemctl restart ollama

7、设置外网

使用厚德云设置自定义端口

8、外网浏览器验证

在windows浏览器中输入：

http://deq1.dc.houdeyun.cn:63392/

9、使用ollama的rest api

查看大模型

http://deq1.dc.houdeyun.cn:63392/api/tags

http使用大模型

curl http://127.0.0.1:11434/api/generate -d '{"model": "qwen2:7b","prompt": "你是谁?","stream": false}'

10、编码实现API调用

编写python代码并测试


import requests

url = 'http://deq1.dc.houdeyun.cn:63392/api/generate'
data = {
    'prompt': '你是谁？',
    'model': 'qwen2:7b',
    'stream': False
}

resp = requests.post(url, json=data)
print(resp.text)

二、安装openwebui

官网：https://openwebui.com/#open-webui-community

1、安装docker

apt install podman-docker
apt install docker.io

2、启动Docker

systemctl start docker
systemctl enable docker

3、Docker启动open-webui

官网推荐部署

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

此处仍需要修改openwebui与ollama关联，使用如下命令

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui1 --restart always ghcr.io/open-webui/open-webui:main

docker run: 启动一个新的 Docker 容器。

-d: 以守护进程模式运行容器，容器将在后台运行。

-p 3000:8080: 将本地机器的端口 3000 映射到容器内的端口 8080。这意味着你可以通过访问 http://localhost:3000 来访问运行在容器内的服务。

--add-host=host.docker.internal:host-gateway: 将主机名 host.docker.internal 映射到 Docker 网关。这对于在容器内访问主机服务很有用。

-v open-webui:/app/backend/data: 将本地的 open-webui 卷映射到容器内的 /app/backend/data 目录。这用于持久化数据，确保即使容器停止或重新启动，数据也不会丢失。

--name open-webui: 为容器指定一个名称 open-webui，以便于管理和识别。

--restart always: 设置容器的重启策略为 always，这意味着容器如果停止（例如由于崩溃或系统重启），Docker 会自动重启它。

ghcr.io/open-webui/open-webui:main: 使用来自 GitHub 容器注册表（GitHub Container Registry）的 open-webui 镜像，并指定使用 main 标签的版本。