Mac环境下ollama部署和体验

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

关于ollama

ollama和LLM（大型语言模型）的关系，类似于docker和镜像，可以在ollama服务中管理和运行各种LLM，下面是ollama命令的参数，与docker管理镜像很类似，可以下载、删除、运行各种LLM

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

官网：https://ollama.com/
非常简洁

本篇概览

作为入门操作的笔记，本篇记录了部署和简单体验ollama的过程，并且通过docker部署了web-ui，尝试通过页面使用大模型
本次操作的环境如下

电脑：macbook pro m1，Sonoma 14.4.1
ollama：0.1.32

安装

在官网首页点击Download即可下载，得到zip安装包，解压后就是应用程序了
会提示是否移动到应用程序目录，回车确认
打开后是个简单的页面
完成安装，会有一个提示，告诉你如何安装指定模型

关于模型

ollama支持的全量模型在这里：https://ollama.com/library

官方给出的部分模型
ModelParametersSize下载命令Llama 38B4.7GB

ollama run llama3

Llama 370B40GB

ollama run llama3:70b

Phi-33.8B2.3GB

ollama run phi3

Mistral7B4.1GB

ollama run mistral

Neural Chat7B4.1GB

ollama run neural-chat

Starling7B4.1GB

ollama run starling-lm

Code Llama7B3.8GB

ollama run codellama

Llama 2 Uncensored7B3.8GB

ollama run llama2-uncensored

LLaVA7B4.5GB

ollama run llava

Gemma2B1.4GB

ollama run gemma:2b

Gemma7B4.8GB

ollama run gemma:7b

Solar10.7B6.1GB

ollama run solar

另外需要注意的是本地内存是否充足，7B参数的模型需要8G内存，13B需要16G内存，33B需要32G内存

运行8B的Llama3

我的mac笔记本内存16G，所以打算运行8B的Llama3，命令如下

ollama run llama3

第一次运行，因为没有模型文件，所以需要下载，等待下载中- 下载完毕后就可以问答了

在这里插入图片描述

退出的方法是输入/bye

Linux版本

如果操作系统是Linux，安装命令如下

curl-fsSL https://ollama.com/install.sh |sh

安装完成后还要启动

ollama serve

webui

如果电脑上装有docker，请执行以下命令来启动ollama的webui

docker run -d-p3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main