大模型本地部署实践：Ollama+Open-WebUI（MacOS）

什么是Ollama

Ollama是一个为简化大语言模型本地部署与交互的开源框架。它提供了用户友好的接口，帮助开发者和模型爱好者在没有依赖外部API的基础上高效地运行、管理和定制大语言模型。

Ollama支持各种各样的开源大模型，包括但不限于：

Llama系列、Mistral系列、Qwen系列、Gemma系列等，可以在官方Library浏览支持的模型：

libraryGet up and running with large language models.https://ollama.com/library

注意：请保证至少有8GB RAM来运行7B模型，16GB来运行13B模型，33B模型则至少需要32GB RAM。

Ollama安装

进入Ollama官网点击下载：Ollama

根据安装程序安装完成后，在命令行输入如下指令：

ollama run llama3.2

运行指令后，将会自动下载并安装本地运行的Llama3.2模型

下载完成后即可对话。

若想结束对话：

/bye

若想删除以下载的模型，运行如下命令：

ollama rm <model_name>

后续想要再运行模型，需要记得启动Ollama哦～

对话界面可视化？Open-WebUI！

Open WebUI是一个功能丰富、可扩展且用户友好的大模型运行WebUI。它支持包括Ollama和OpenAI compatible APIs。

安装Open-WebUI

首先，Open-WebUI需要Docker环境：安装Docker DeskTop

Docker Desktop: The #1 Containerization Tool for Developers | Docker

Docker运行后，如果Ollama部署在本地，在命令行使用下述命令即可运行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这个命令将8080端口映射至3000，只需要在浏览器中输入：http://localhost:3000 即可访问。

（open-webui启动需要一定时间，所以可以过一段时间后再访问3000端口）

启动后，登录帐号即可使用Open-WebUI来和大模型对话啦～

停止运行Open-WebUI：

docker stop open-webui

更多信息可查看Open-WebUI官方文档：⭐ Features | Open WebUI