一分钱不花！本地部署Google最强开源AI大模型Gemma教程
半个多月前，谷歌搞了一波突然袭击，毫无预兆地发布了新一代AI模型Gemma，并宣称这是全球性能最强大的轻量级开源系列模型。
经过实测，虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型，但是本地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的情况下本地加载运行，不用担心相关信息泄露等等。
介绍
Ollama：是一款能够在本地快速搭建大型模型的工具，使用户能够轻松进行模型部署和使用。
Gemma：是由谷歌开源的一种大型模型。
open-webui：是一个优秀的大型模型 Web 用户界面，简化了模型部署和管理。
开始搭建（完整视频）
第一步：前期准备
选择系统版本（短期实验可以使用腾讯云的竞价实例）
由于大型模型需要 GPU 进行运算，建议选择支持 GPU 显卡的服务器系统版本。本文选择的是 Ubuntu 22.04。
端口问题：
注意要放开相应端口，本次实验以放开全部端口示例
首次登录需要安装相应驱动，稍等即可
安装完成！
第二步：部署 Ollama
- 使用以下命令安装 Ollama：
curl -fsSL https://ollama.com/install.sh | sh
速度可能因为网络慢一些，等待即可
- 安装完成后，编辑 Ollama 的服务配置文件：
sudo vi /etc/systemd/system/ollama.service
在 `ExecStart=/usr/local/bin/ollama serve` 上面插入：
`Environment="OLLAMA_HOST=0.0.0.0:11434"`
- 开放 API 端口（默认端口为 11434），并重启服务器。
- 访问
ip:11434查看 Ollama 是否成功部署。
第三步：部署 Gemma
运行以下命令(这里以7b为例)：
ollama run gemma:7b
等待部署完成后即可开始使用 Gemma，这里是交互式使用，接下来继续安装openweb-ui
第四步：部署 open-webui
可以选择新建一个终端，运行的gemma不要停
- 部署 Docker（根据不同系统安装 Docker）。
sudo apt install docker.io
- 运行以下命令安装 open-webui（请注意镜像地址，这是使用的是速度快的国内源）：
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
- 启动容器(启动之后需要稍等1-2分钟，下载必要文件)：
sudo docker run -d ghcr.nju.edu.cn/open-webui/open-webui
4. 访问
IP:3000
进入 open-webui，注册账号（第一次注册的账号默认为管理员）。
完美启动
- 在模型中检查 Ollama 连接状态是否成功.
- 点击头像进入管理员面板，将新用户默认改为用户（按需修改），省去用户需要审核的流程
完美部署！
作为轻量化模型的存在8G显存即可运行7B模型，2B模型更是不需要显卡就可以流畅运行
注意：
经过实测，虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型，但是本地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的情况下本地加载运行，不用担心相关信息泄露等等。
本文转载自: https://blog.csdn.net/weixin_74041379/article/details/136988909
版权归原作者 是小杜吖. 所有， 如有侵权，请联系我们删除。
版权归原作者 是小杜吖. 所有， 如有侵权，请联系我们删除。