文章目录
前言
- 运行Ollama
- 安装Open WebUI
2.1 在Windows系统安装Docker
2.2 使用Docker部署Open WebUI
前言
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的llama2、千文qwen等大语言模型运行环境。
近些年来随着ChatGPT的兴起，大语言模型 LLM(Large Language Model)也成为了人工智能AI领域的热门话题，很多大厂也都推出了自己的大语言模型，并或多或少的开源了自己的大语言模型，今天就来分享一个最近很火，且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama。
在本地运行大语言模型有诸多优点：
比如可以保护隐私、不会产生费用、可以无视网络问题、可以尝鲜各种开源模型等等。
Ollama支持当前主要的开源大模型， 比如llama2、千文qwen、mistral等，可以在Windows、Linux、MacOS系统上进行部署。稳定性和便利性都非常不错，下面就来分享一下它在Windows系统上的安装与应用。
- 运行Ollama
本文安装环境为：Windows10专业版
下载： Ollama下载地址：https://ollama.com/download
在下载页面点击Windows，然后点击下载按钮。
安装： 下载完成后，双击下载的安装程序。
点击Install进行安装。
安装完成没有提示，我们打开一个终端，本文以Windows PowerShell为例，大家也可以使用其他的：
现在Ollama已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也可以使用其他的模型。
登录后复制
ollama run qwen
1.
可以看到，系统正在下载qwen的模型(并保存在C盘，C:\Users<username>.ollama\models 如果想更改默认路径，可以通过设置OLLAMA_MODELS进行修改，然后重启终端，重启ollama服务。)
登录后复制
setx OLLAMA_MODELS "D:\ollama_model"
1.
模型下载完成后，我们就可以在终端中输入问题进行使用了：
至此，在Windows本地部署ollama并运行qwen大语言模型就已经完成了。一键搞定，对新手体验大语言模型真的非常友好。
- 安装Open WebUI
不过，我们现在只能在终端中使用，操作界面可能不像ChatGPT那样美观，如果能使用web页面进行交互，使用体验更好，也能保留之前的聊天记录，翻遍我们翻阅查询。
针对这个情况，我们可以在Windows上部署Open WebUI这个项目来实现类似chatgpt一样的交互界面。
本教程以Open WebUI这个项目为例，它以前的名字就叫 Formerly Ollama WebUI。可以理解为一开始就是专门适配Ollama的WebUI，它的界面也对用惯了chatgpt的小伙伴来说更相似一些。当然，大家也可以选择其他的WebUI，之后有机会也可以分享给大家。
如何在Windows系统安装Open WebUI：
2.1 在Windows系统安装Docker
首先，如果大家之前未安装过Docker，需要执行下面三个步骤进行安装：
第一步：启动Hyper-v
打开控制面板，在程序与功能页面选择启用或Windows功能
勾选Hyper-V、虚拟机平台、Linux子系统并点击确认
然后，重启计算机。
第二步：安装WSL
打开 powershell，以管理员的身份启动命令窗口，输入
登录后复制
wsl --update
1.
安装
登录后复制
wsl --install
1.
然后再次重启电脑。
第三步：访问Docker官网进行下载
点击下载链接：https://docs.docker.com/desktop/install/windows-install/
选择Windows最新版本：
下载完成后，双击安装程序进行安装，如果是第一次安装，安装后会提示重启电脑，重启后点击桌面的Docker Desktop图标：选择先不注册直接登录即可。
打开Docker Desktop后，左下角显示是绿色的running就代表我们成功了：
2.2 使用Docker部署Open WebUI
在Open WebUI的github页面 https://github.com/open-webui/open-webui 可以看到，如果你的Ollama和Open WebUI在同一台主机，那使用下面显示的这一行命令就可以在本地快速进行部署：
登录后复制
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
1.
现在我们打开终端，比如powershell，然后输入docker，回车
可以看到这个命令成功运行，说明docker安装成功。
然后将上边在docker中部署Open WebUI的命令复制后粘贴到终端中，回车。
然后等待安装完毕即可：如下图所示
安装完成后，在Docker Desktop中可以看到Open WebUI的web界面地址为：https://localhost:3000
点击后，会在浏览器打开登录界面：
点击sign up注册，账号，邮箱，密码记好，下次登录时需要用到邮箱和密码登录：
然后点击create account创建账号即可：然后就能在浏览器中使用类似chatgpt界面的Open WebUI了！
点击右上角的设置，可以修改当前界面的语言为简体中文：然后点击保存即可。
点击上方选择一个模型旁边的加号+可以增加大模型，点击下拉按钮可以选择当前使用哪一个已安装的模型，接下来就可以愉快的跟ai聊天了！
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
版权归原作者 HaoshuaiFrank 所有， 如有侵权，请联系我们删除。