服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用

服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用

一、ubuntu和docker基本环境配置

1.更新包列表：

• 打开终端，输入以下命令：

sudoapt-get update

sudoapt upgrade

更新时间较长，请耐心等待

2. 安装docker依赖

sudoapt-getinstall ca-certificates curl gnupg lsb-release

3. 添加docker密钥

curl-fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg |sudo apt-key add -

4.添加阿里云docker软件源

sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

5.安装docker

apt-getinstall docker-ce docker-ce-cli containerd.i

6.安装完成docker测试

docker-v

7. docker配置国内镜像源

• 7.1 编辑配置文件

vi /etc/docker/daemon.json

按i进入编辑模式

加入以下内容：

{"registry-mirrors":["https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com",
    "https://docker.m.daocloud.io", 
    "https://ghcr.io",
    "https://mirror.baidubce.com",
    "https://docker.nju.edu.cn"]}

按ESC键退出编辑模式，接着输入:wq，保存并退出

• 7.2 重新加载docker

sudo systemctl daemon-reload

• 7.3 重启docker

sudo systemctl restart docker

二、安装英伟达显卡驱动

1.使用 Apt 安装

• 配置存储库

curl-fsSL https://nvidia.github.io/libnvidia-container/gpgkey \|sudo gpg --dearmor-o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl-s-L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \|sed's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g'\|sudotee /etc/apt/sources.list.d/nvidia-container-toolkit.list

• 更新包列表

sudoapt-get update

• 安装 NVIDIA Container Toolkit 软件包

sudoapt-getinstall-y nvidia-container-toolkit

• 配置 Docker 以使用 Nvidia 驱动程序

sudo nvidia-ctk runtime configure --runtime=docker

• 重新启动docker

sudo systemctl restart docker

三、使用docker安装ollama

1. 使用docker拉取ollama镜像

docker pull ollama/ollama:latest

国内镜像

docker pull dhub.kubesre.xyz/ollama/ollama:latest

2.使用docker运行以下命令来启动 Ollama 容器

docker run -d--gpus=all --restart=always -v /home/docker/ollama:/root/.ollama -p11434:11434 --name ollama ollama/ollama

使ollama保持模型加载在内存（显存）中

• 参考文章 ollama如何保持模型加载在内存（显存）中或立即卸载
• 执行以下命令：

docker run -d--gpus=all -eOLLAMA_KEEP_ALIVE=-1 --restart=always -v /home/docker/ollama:/root/.ollama -p11434:11434 --name ollama ollama/ollama

3.使用ollama下载模型

• 这里示例下载阿里的通义千问

dockerexec-it ollama ollama run qwen2

• 运行效果如图：
• 模型库
  模型参数数量大小下载方式Llama 27B3.8GB

  docker exec -it ollama ollama run llama2
  

  Mistral7B4.1GB

  docker exec -it ollama ollama run mistral
  

  Dolphin Phi2.7B1.6GB

  docker exec -it ollama ollama run dolphin-phi
  

  Phi-22.7B1.7GB

  docker exec -it ollama ollama run phi
  

  Neural Chat7B4.1GB

  docker exec -it ollama ollama run neural-chat
  

  Starling7B4.1GB

  docker exec -it ollama ollama run starling-lm
  

  Code Llama7B3.8GB

  docker exec -it ollama ollama run codellama
  

  Llama 2 Uncensored7B3.8GB

  docker exec -it ollama ollama run llama2-uncensored
  

  Llama 213B7.3GB

  docker exec -it ollama ollama run llama2:13b
  

  Llama 270B39GB

  docker exec -it ollama ollama run llama2:70b
  

  Orca Mini3B1.9GB

  docker exec -it ollama ollama run orca-mini
  

  Vicuna7B3.8GB

  docker exec -it ollama ollama run vicuna
  

  LLaVA7B4.5GB

  docker exec -it ollama ollama run llava
  

  Gemma2B1.4GB

  docker exec -it ollama ollama run gemma:2b
  

  Gemma7B4.8GB

  docker exec -it ollama ollama run gemma:7b
  

四、使用docker安装open-webui

1. docker部署ollama web ui

查看自己服务器的业务端口，我们这里是30131-30140

main版本

docker run -d-p30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

cuda版本

docker run -d-p30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda

• 安装成功后，可以在另一台计算机进行访问，如下：

2.注册账号

• 默认第一个账号是管理员

3.成功进入：

4. 聊天界面