在Windows上轻松部署本地大语言模型：Ollama与Open-WebUI的完整指南

前言

欢迎来到本教程！本文将详细介绍如何在 Windows 系统 上安装和使用 Ollama 和 Open-WebUI，这两个强大的工具将帮助您轻松管理和运行大型语言模型。Ollama 简化了模型的下载与部署，而 Open-WebUI 则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。

本教程将涵盖以下内容：

1. 安装环境与步骤：提供准备和安装 Ollama 及 Docker Desktop 的详细指导。
2. 验证安装：教您如何确认 Ollama 和 Docker 是否成功安装。
3. 模型搜索与下载：展示如何使用阿里开源的 通义千问大模型 Qwen 进行操作。
4. Open-WebUI 的安装与使用：介绍如何部署 Open-WebUI 以及如何在浏览器中与模型交互。

无论您是机器学习的初学者，还是希望在本地部署强大语言模型的开发者，本文将为您提供清晰且实用的指导，帮助您顺利踏上机器学习之旅，并最终在本地成功部署属于自己的大型模型，诸如下图。

一、安装 Ollama

1、安装环境

• 在开始之前，请确保你的计算机已安装显卡驱动和 CUDA 程序，具体的验证步骤将在本文结尾提供。

1. 访问官网：- 打开 Ollama 官网：https://ollama.com/
2. 下载 Ollama：- 点击页面上的“Download”按钮。- 在弹出的选项中选择适合 Windows 的安装程序，下载完成后，双击安装文件。
3. 安装过程：- 安装开始后直接点击 Install，稍等片刻后安装成功。

2、验证安装

1. 按下快捷键：同时按 Windows 键和 R 键 (Win + R)，打开“运行”窗口。
2. 输入命令：在窗口中输入 cmd，然后敲击 Enter。
3. 输入命令：在命令提示符窗口中，输入：ollama --version
4. 查看结果：如果显示版本号，说明安装成功。

3、模型部署

在 Ollama 上，我们可以方便地搜索并下载所需的模型。此次我们选择阿里开源的通义千问大模型 Qwen。具体步骤如下：

1. 搜索模型：- 访问 ollama.com，在搜索框中输入“Qwen”后，敲击Enter进行查找。
2. 选择版本：- 在搜索结果中，你会看到 Qwen 的不同版本，如 Qwen 2.5 和 Qwen 2 等，这里我们选择安装 Qwen 2.5 版本。- 目前可用的参数大小有：0.5B、1.5B、3B、7B、14B 、32B 和 72B。每个数值代表不同的参数规模。为了适应自己的电脑配置，建议谨慎选择。这里我们选择 7B（70亿参数），该模型的大小不到 5GB，适合第一次使用。
3. 下载模型：- 打开命令提示符或终端，直接运行以下命令来下载所选模型：ollama run qwen2.5:7b- ollama 是命令行工具的名称，用于管理和运行机器学习模型。- run 是 Ollama 命令，用于启动和执行指定的模型。- qwen2.5:7b 是模型的名称和版本，表示你要下载或运行的特定模型。- 下载速度通常由快到慢（请耐心等待），完成后会看到 success 的提示，表示模型已成功安装。
4. 使用模型：- 一旦安装完成，你就可以在终端中运行下面指令直接使用 Qwen 模型进行提问。ollama run qwen2.5:7b- 注意，Qwen2.5-7B 的回答可能并不是很理想。这并不是重点，因为后续我们可以下载更先进、更准确的模型，从而更深入地体验模型的训练和提升过程。

二、安装 Docker Desktop

Docker 提供了一致的运行环境，适用于不同操作系统，特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境，使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。

1、安装 Docker Desktop

1. 下载 Docker Desktop：- 访问 Docker 官网：https://www.docker.com/。- 点击页面上的“Download for Windows - AMD64”按钮，以下载适用于 Windows 系统的 Docker Desktop 安装文件。
2. 安装 Docker Desktop：- 双击下载的安装文件，开始安装 Docker Desktop。- 按照安装向导的指示完成安装。在安装过程中，将提示安装 WSL 2，建议勾选此选项以获得更好的性能。
3. 配置 Docker Desktop：- 安装完成后，启动 Docker Desktop。- 首次打开时，将出现 Docker 订阅协议，点击 Accept（接受）以继续。- 随后，系统将提示用户登录。您可以选择使用 GitHub 账户或 Google 账户登录，若无上述账户，可选择跳过登录步骤。- 接下来，将出现调查问卷，您可以根据个人喜好选择填写，或直接跳过此步骤。- 最后，Docker Desktop 将正常启动。

2、汉化 Docker Desktop（可选）

若想使 Docker Desktop 显示中文界面，按照以下步骤进行汉化：

1. 下载对应版本的中文语言包：- 访问 GitHub，下载适用于 Docker Desktop 的中文语言包，链接地址为：DockerDesktop-CN。- 将下载的文件解压至 C:\Program Files\Docker 目录下（即 Docker 的安装根目录）。
2. 检查 Docker Desktop 版本：- 启动 Docker Desktop，版本号将在右下角显示。
3. 备份并替换 app.asar 文件：- 打开 Docker Desktop 中文语言包，选择与您 Docker 版本相符的 app.asar 文件并复制。- 导航至 Docker 的安装目录，路径默认为：C:\Program Files\Docker\Docker\frontend\resources- 在该目录下找到 app.asar 文件，建议先备份原文件，然后将复制的中文语言包中的 app.asar 文件粘贴并替换原有文件。
4. 重新启动 Docker Desktop：- 完成替换后，请关闭 Docker Desktop，然后重新启动该程序。此时，Docker Desktop 应该以中文界面显示。

三、安装 Open-WebUI

Open-WebUI 是一个基于 Docker 部署的 Web 用户界面，使用户能够在本地环境中轻松运行和管理语言模型。与直接使用命令行工具相比，Open-WebUI 提供了更直观、便捷的交互体验，尤其适合希望进行图形化操作的用户。

1、安装 Open-WebUI

1. 获取 Open-WebUI 镜像：- 打开命令提示符或 PowerShell，输入以下命令以下载 Open-WebUI 镜像：docker pull ghcr.io/open-webui/open-webui:main- 下载过程可能需要几分钟，请耐心等待 [建议先开魔法再下载镜像]。
2. 启动 Open-WebUI 容器：- 下载完成后，运行以下命令以启动 Open-WebUI：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main- 该命令中的 -d 参数表示容器在后台运行，-p 3000:8080 用于将容器内的 8080 端口映射到本地计算机的 3000 端口。启动后，您可以在浏览器中访问 http://localhost:3000 以进入 Open-WebUI 界面。

命令解析：

• docker run: 这是用于创建并运行一个新的容器的命令。
• -d: 让容器在后台运行（“detached” 模式）。
• -p 3000:8080: 将主机的 3000 端口映射到容器的 8080 端口。这意味着你可以通过访问主机的 3000 端口来访问容器内的服务。
• --add-host=host.docker.internal:host-gateway: 这条选项允许容器内的应用访问主机（宿主机）上的服务。它会将 host.docker.internal 指向 Docker 宿主机的 IP 地址。
• -v open-webui:/app/backend/data: 创建一个名为 open-webui 的数据卷，将其挂载到容器的 /app/backend/data 路径。这允许你在容器重启或删除后仍能保留数据。
• --name open-webui: 为容器指定一个名称（open-webui），方便后续管理。
• --restart always: 设置容器的重启策略为“始终”。这意味着如果容器崩溃或宿主机重启，Docker 会自动重新启动该容器。
• ghcr.io/open-webui/open-webui:main: 指定要运行的镜像及其标签（这里是 main）。

输出解释：

• 6fb5192dc3e4912b5fdfe6a183c798351fc76e15a7c60bccc25a3573c39b0136: 这是新创建容器的唯一 ID。你可以用这个 ID 来执行后续的操作，如停止或删除容器。

2、配置与使用 Open-WebUI：

• 在浏览器中打开 http://localhost:3000 后，您将看到 Open-WebUI 的主界面。
• 首次访问可能需要注册一个账号，注册过程简单易行。
• 登录以后，左上角可以选择我们安装的Qwen2.5模型，如果我们安装多个模型的话，可以切换不同模型使用。

• Open-WebUI 提供直观的模型搜索和下载界面，您可以从中选择诸如 Qwen（通义千问）等模型。
• 使用 Open-WebUI，您可以更便捷地进行交互，相较于传统终端操作，体验更加流畅与美观。

四、验证显卡驱动和 CUDA 程序

• 可以按照以下步验骤证计算机是否已安装显卡驱动和 CUDA 程序：

验证显卡驱动

1. 检查显卡信息：- 右键点击桌面，选择“显示设置”。- 在“显示”设置中，向下滚动并点击“高级显示设置”。- 在这里，你可以看到使用的显卡型号。
2. 验证驱动版本：- 按 Win + X 键，选择“设备管理器”。- 在设备管理器中，展开“显示适配器”选项，找到你的显卡。- 右键点击显卡，选择“属性”，然后切换到“驱动程序”选项卡，可以查看驱动程序版本。

验证 CUDA 安装

1. 检查 CUDA 是否安装：- 打开命令提示符（按 Win + R，输入 cmd，然后按 Enter）。- 输入以下命令并按 Enter：nvcc --version- 如果 CUDA 已安装，会显示 CUDA 的版本信息。如果提示“未找到命令”，说明 CUDA 可能未安装或未正确配置。
2. 确认 CUDA 目录：- 你也可以检查 CUDA 是否在系统环境变量中。打开“控制面板”，选择“系统和安全” > “系统” > “高级系统设置”。- 在“系统属性”窗口中，点击“环境变量”按钮，查看“系统变量”中的 Path 变量，确认其中是否包含 CUDA 的安装路径（通常是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin）。