0


Ollama安装和实例部署(Linux版本)

下载 Ollama

Ollama的官网地址

在 Linux 上安装 - Ollama中文网

Ollame的官网介绍

1、ollama安装或者更新

自动安装或者更新

#Linux
curl -fsSL https://ollama.com/install.sh | sh

这块我们可以直接下载,他是默认下载最新版本的。你也可以手动安装

手动安装

将其下载到您的 PATH 中的目录
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
为 Ollama 创建一个用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
在 /etc/systemd/system/ollama.service 中创建一个服务文件:
[Unit]

Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

然后启动服务:
sudo systemctl daemon-reload
sudo systemctl enable ollama

2、ollama常用指令

#使用感觉和docker类似,输出ollama就会有提示
ollama serve        #启动ollama
ollama create        #从模型文件创建模型
ollama show                #显示模型信息
ollama run                #运行模型
ollama pull                #从注册表中拉取模型
ollama push                #将模型推送到注册表
ollama list                #列出模型
ollama cp                #复制模型
ollama rm                #删除模型
ollama help                #获取有关任何命令的帮助信息

3、卸载

移除 ollama 服务:
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

4、使用实例:举例 Llama3使用示例

#下载模型
ollama pull llama3
#下载成功查看模型
ollama list
#运行模型
ollama run llama3
标签: linux 运维 服务器

本文转载自: https://blog.csdn.net/qq_54588888/article/details/140382646
版权归原作者 花园Q 所有, 如有侵权,请联系我们删除。

“Ollama安装和实例部署(Linux版本)”的评论:

还没有评论