Ollama+Llama+Docker+WebUI Windows10部署指南

1.Ollama server

1.下载

下载路径：Download Ollama on Windows

下载好后，直接打开安装包

2.环境配置

1.host

2.跨域

3.模型存储路径

    解决存储空间不够的问题

如果修改后没有变化，记得修改用户变量（系统变量都可以试试，哈哈）。

3. 启动Ollama

直接搜索，可以找到ollama，点击打开，服务后台启动着。

点击后可以在任务管理器看到，服务已经打开了。

也可以在cmd中检查是否安装成功

ollama -v

4.模型下载

执行该命令，下载并运行模型

ollama run [modelname]

5.Ollama连接检测

直接在网页中输入http://ip+已经在环境变量中设置好的端口，证明可以连接。

2.Docker配置

1.本地环境配置

先打开控制面板，找到程序打开后，点击“启动或关闭Windows功能”

勾选这三个

2.下载Docker desktop

下载地址：Install Docker Desktop on Windows | Docker Docs

打开安装包

都选，直接点击OK

之后打开Docker desktop，点击accept。

如果打开后，出现WSL 2 installation is incomplete的问题，可以直接点击下方链接

https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

原文：安装Docker Desktop报错WSL 2 installation is incomplete.-CSDN博客

3.Docker源配置

点击setting

环境源填写在"registry-mirrors"中

1.Docker中国官方

https://registry.docker-cn.com

2.网易

http://hub-mirror.c.163.com

3.中国科学技术大学

https://docker.mirrors.ustc.edu.cn

4.环境检验

docker version

3.WebUI

详细可查看该地址🏡 首页 |打开 WebUI (openwebui.com)

1.本地Ollama

在终端中执行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.服务器Ollama：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1.运行支持Nvidia GPU 的 Open WebUI

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3.界面

安装好后，可以在docker中找到相应的容器，点击这个组件，就可以打开webui界面。

4.应用配置

点击右上角的setting

在这里输入Ollama的模型链接地址,即:http://ip+端口

在这里选择本地下载好的模型

这样就可以开始聊天了

5.模型运行情况

Windows中是一张4090（24G显存）+内存（48G），运行不起来llama3:70b,预估需要内存64G以上。

6.本地环境

Windows10

Docker:20.10.8

Ollama:0.1.37