使用Ollama在本地部署一个类似openai的API做开发和测试

1、准备一个旧电脑

因为配置要求不高，五年前的电脑都能使用，装一块旧显卡，显存大一点的最好有8G。实在没显卡也没关系，电脑内存大也能运行，无非运行的慢一些不影响开发测试。在电脑上安装centos stream 9 服务器带界面版，装上显卡驱动，没有显卡的只装系统就行了。配置好能上网（本篇不用科学上网）。

2、安装ollama

随便一个目录下，执行如下命令：

curl -fsSL https://ollama.com/install.sh | sh

显示如下：表示安装成功

Downloading ollama...
######################################################################## 100.0%##O#-#
Installing ollama to /usr/local/bin...
Creating ollama user...
Adding ollama user to render group...
Adding ollama user to video group...
Adding current user to ollama group...
Creating ollama systemd service...
Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
NVIDIA GPU installed.

查看ollama的状态

systemctl status ollama

安装成功后执行ollama -v命令，查看版本信息，如果可以显示则代表已经安装好

ollama -v

ollama version is 0.2.20

ollama安装完成后只能本机访问，如需外网访问，还要配置一下，或者使用代理转发来解决跨域访问问题。

cd到目录/etc/systemd/system下:vim ollama.service，在[Service]标签下添加如下两行并保存：
Environment="OLLAMA_HOST=:11434"
Environment="OLLAMA_ORIGINS=*"

这两行是解决其它电脑访问和跨域问题。注意版本号低于0.2.20的不支持IPv6，端口前面要加IP：0.0.0.0

重启服务：

systemctl daemon-reload

systemctl restart ollama.service

如不想修改服务器文件可设置代理。

3、加一个Qwen2模型测试

如果显卡大可以选个大模型。

ollama pull qwen2:7b //拉取一个模型，7b是中型的需要6G显存，也可以拉1.5b或0.5b的2G显存够了。

测试运行：

$ ollama run qwen2

启动完毕，到此其实我们已经有了一个控制台对话界面，已可以与Qwen2-7B对话了，/bye 退出。

至此就部署完毕，下面测试。

4、测试接口：可以用POST工具

这里推荐apipost软件。

ollama提供openai一样的API接口：
http://192.168.0.1:11434/v1/chat/completions
调用方式也是一样的：POST，认证选Bearer可以填ollama或其它，其实并不验证，只是为了与接口格式相兼容。
{"Content-Type": "application/json", Authorization: "Bearer ollama" }
{
"model": "Qwen2-7B",
"messages": [
{
"role": "system",
"content": "你是一个智能机器人助手，请帮助回答问题。"
},
{
"role": "user",
"content":"你好"
}
],
"temperature": 0.8,
"top_p": 0.8,
"max_tokens": 1024,
"echo": false,
"stream": false, //如果是true会有吐字效果；否则所有字都生成才返回。
"repetition_penalty": 1.1

}
返回内容：跟据是否stream为true或false，格式有所不同，在开发时注意choices下面是message还是delta。

5、使用OpenWebUI测试

安装Open WebUI，可用三种方法：

第一种是使用docker，我本不喜欢docker这个命令就不推荐这个方法了。这种方式网上一搜有一堆都是这种方法安装的。

第二种是使用git：环境要求：Node.js >= 20.10 和 Bun >= 1.0.21 并且 Python >= 3.11，不会装环境的参考后面第6条。

使用如下命令安装：没git命令可以yum install git安装一个。
$ git clone https://github.com/open-webui/open-webui.git
$ cd open-webui/

复制一份 .env 目录和文件

$ cp -RPp .env.example .env

用node编绎前端

$ npm i
$ npm run build

安装后端所需包

$ cd ./backend
下面这步要注意了：！！！如果不使用国内源，一天可能都在装包，不是吓唬，是真的包很多很慢。
如果网速不好，一定换国内源，如下：
$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装包：

$ pip install -r requirements.txt -U

启动：
$ bash start.sh

运行不出错的话 http://localhost:8080/ ，但是不用科学上网的一定会出错😄
第一次启动会上huggingface网下载一点东西all-MiniLM-L6-v2：所以先指定一个镜像网站，再运行（也可以先魔搭上下载好，再把backend/apps/rag/utils.py里的第318行改成这样：embedding_model_repo_path = r'\下载目录\all-MiniLM-L6-v2'来运行。）：

$ HF_ENDPOINT=https://hf-mirror.com bash start.sh 这样就不会出错了。

浏览器输入http://localhost:8080/去访问吧。

第三种最简单：新版的openwebui已经做到python的包里面了，至少需要python3.11版本。

使用pip install open-webui 安装，装之前最好设置国内源。

安装完成使用： open-webui serve启动，同样第一次运行要加变量指定镜像网站：

$ HF_ENDPOINT=https://hf-mirror.com open-webui serve

以后直接运行$ open-webui serve就行了。

启动后到http://localhost:8080/访问，先注册一个用户，进去后设置中文，设置外网链接：关掉openai接口，只留ollama接口，修改ollama接口IP或在本机上不用修改。选一下模型Qwen2-7B:latest就可以愉快的通过web界面进行聊天对话了。

6、附：安装环境

安装miniconda3

使用conda管理python虚环境，python的版本很多很乱，conda是一个很好的虚拟环境管理工具，使用miniconda管理python版本已经够用了：

cd /usr/local/src

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sh Miniconda3-latest-Linux-x86_64.sh -p /usr/local/miniconda3

回车后一堆license的信息，这个按enter建后必须yes才能继续，按空格键一次一页快一些。

验证安装

You can undo this by running conda init --reverse $SHELL? [yes|no]
[no] >>>

You have chosen to not have conda modify your shell scripts at all.
To activate conda's base environment in your current shell session:
eval "$(/usr/local/miniconda3/bin/conda shell.YOUR_SHELL_NAME hook)"
To install conda's shell functions for easier access, first activate, then:
conda init

跟据 提示：执行命令eval "$(/usr/local/miniconda3/bin/conda shell.bash hook)"创建环境
然后执行conda init
显示：
no change /usr/local/miniconda3/condabin/conda
no change /usr/local/miniconda3/bin/conda
no change /usr/local/miniconda3/bin/conda-env
no change /usr/local/miniconda3/bin/activate
no change /usr/local/miniconda3/bin/deactivate
no change /usr/local/miniconda3/etc/profile.d/conda.sh
no change /usr/local/miniconda3/etc/fish/conf.d/conda.fish
no change /usr/local/miniconda3/shell/condabin/Conda.psm1
no change /usr/local/miniconda3/shell/condabin/conda-hook.ps1
no change /usr/local/miniconda3/lib/python3.12/site-packages/xontrib/conda.xsh
no change /usr/local/miniconda3/etc/profile.d/conda.csh
modified /root/.bashrc

==> For changes to take effect, close and re-open your current shell. <==
可以查看/root/.bashrc文件备更改增加了环境参数如下：

>>> conda initialize >>>

!! Contents within this block are managed by 'conda init' !!

__conda_setup="$('/usr/local/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/usr/local/miniconda3/etc/profile.d/conda.sh" ]; then
. "/usr/local/miniconda3/etc/profile.d/conda.sh"
else
export PATH="/usr/local/miniconda3/bin:$PATH"
fi
fi
unset __conda_setup

<<< conda initialize <<<

个人不太喜欢进入系统的时候自动激活conda的base环境，因为会占用时间，切换节点会延迟，所以关掉自动激活base环境：
conda config --set auto_activate_base false
重启：# reboot

#设置conda镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --set show_channel_urls yes

#最好安装完重启一下系统

创建python虚环境：

conda create -n python311 python=3.11（如果精确到子版本可用两个等号如：==3.10.6，否则是大版本的最新子版本。）

conda env list 显示创建的环境。

进入和退出python虚环境，进入后命令提示符前面显示虚环境名称：

conda activate python311

如果退出使用：# conda deactivate

#在py311环境下设置pip镜像源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装node ：

linux自带的node.js版本有些老了，不够用的，网上查了一下node也象python一样版本很多情况复杂，也有象conda 这样的版本管理的软件nvm来管理版本。
先装nvm
$ curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash

安装node.js 20的最新子版本

$ nvm install 20

node -v # 显示版本号：v20.15.1

npm -v # 显示版本号： 10.7.0，npm是node带的包管理器命令，就象python里的pip一样。

安装Bun：

Open WebUI用到了bun命令，Bun是和node差不多的框架。

下载安装脚本并开始安装

curl -fsSL https://bun.sh/install | bash

刷新环境变量

source /home/username/.bashrc

查看是否安装成功

bun --help
bun -v 显示1.1.1

7、ollama命令说明，更新和清除

ollama的操作命令跟docker操作命令非常相似：
ollama serve # 启动ollama
ollama create # 从模型文件创建模型
ollama show # 显示模型信息
ollama run # 运行模型
ollama pull # 从注册仓库中拉取模型
ollama push # 将模型推送到注册仓库
ollama list # 列出已下载模型
ollama cp # 复制模型
ollama rm # 删除模型
ollama help # 获取有关任何命令的帮助信息

更新和安装一样再执行一遍命令：

curl -fsSL https://ollama.com/install.sh | sh

卸载Ollama：
停止并禁用服务
systemctl stop ollama
systemctl disable ollama

删除服务文件和Ollama二进制文件
rm /etc/systemd/system/ollama.service
rm $(which ollama)

清理Ollama用户和组
rm -r /usr/share/ollama
userdel ollama
groupdel ollama