Ubuntu 20.04配置ollama并下载安装调用本地大语言模型

Ubuntu 20.04配置ollama并下载安装调用本地大语言模型

ollama 介绍(来自ChatGPT)

Ollama 是一种新的本地语言模型管理与运行平台，旨在帮助用户在本地环境中运行和管理大型语言模型（LLMs），例如 LLaMA、GPT 等。与传统基于云的解决方案不同，Ollama 专注于在用户本地系统上运行这些模型，以提高数据隐私性和响应速度。

主要特点

1. 本地运行：Ollama 允许用户在本地设备上运行大语言模型，无需依赖云计算。这有助于在脱机状态下使用，并确保数据不会发送到外部服务器，提升数据隐私。
2. 多模型管理：支持同时运行和管理多个语言模型。用户可以轻松切换、更新或扩展模型集合。
3. GPU 加速：对于需要高性能的任务，Ollama 支持 GPU 加速，以便提高计算效率和处理速度。它可以与 CUDA 和适当的 GPU 驱动一起使用，以提供最佳的性能表现。
4. 简单接口：提供易于使用的命令行界面（CLI），方便用户通过简单的指令运行、管理模型并进行推理。
5. 开源和可扩展：Ollama 是开源项目或基于开源技术，用户可以根据自己的需求自定义和扩展其功能。

ollama开发环境预配置

建议是双系统或者纯ubuntu系统，不要虚拟机！！！！！！，经过实际测试安装的时候不需要深度学习环境，如果已经配置的不会对环境造成影响，**建议安装显卡驱动，因为ollama在运行的时候调用显卡(目前我的运行是这样的)，本人在开发的时候事先配置了ubuntu环境下的深度学习环境，包括显卡驱动安装、Cuda安装等安装，可以参考 https://blog.csdn.net/m0_58678659/article/details/122932488 **博客进行学习，注意显卡驱动和Cuda还有cudnn的版本适配

ollama在ubuntu下的安装

直接安装

直接访问ollama的官网**https://ollama.com/**，点击download，一共有三个图标，中间是linux，将该指令放到终端中运行:

curl -fsSL https://ollama.com/install.sh | sh

这条指令大概率是不行，采用科学上网下载也不能成功，国内的网络基本上别想了

压缩包安装

访问连接**https://github.com/ollama/ollama/releases/**，根据自己的系统下载对应压缩包，我的是intel的处理器x86架构下载amd64版本

下载完成后在下载目录下打开终端，运行以下指令，就会将该压缩文件夹解压到/use/local目录下面，这里注意的是解压后的文件夹的名字并不是ollama，一个是bin 一个是lib，解压成功后在/usr/local中打开bin和lib文件夹会出现ollama相关的文件

sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local

这代表解压成功了，之后在该终端中输入，就会输出安装的版本信息代表安装成功了，如果是第一次安装大概率出来的消息会比图里面多几句话，什么could not这种，这是因为没有创建开机的脚本

ollama -v

创建开机ollama的脚本

先赋予执行权限，我的ollama解压到了**/usr/local**目录下，所以进入到当前目录bin中，先赋予执行权限，运行以下指令

sudo chmod +x /usr/local/bin/ollama

执行完成之后为ollama创建用户

sudo useradd -r -s /bin/false -m -d /usr/local/bin/ollama ollama

创建一个在 /etc/systemd/system/中的ollama.service的service文件，首先在终端中输入

sudo gedit /etc/systemd/system/ollama.service

之后在该文件中输入以下代码部分

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
 
[Install]
WantedBy=default.target

创建完成之后启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

启动ollama

在终端中输入，开启服务，然后会输出以下部分代码，这里会有一个http://127.0.0.1:11434，如果你是第一次打开大概率跟我下面界面是不一样的，需要进行一部操作，把该连接连接到IP地址服务器上，其实就是本地服务器

ollama serve

打开**~/.bashrc**文件，输入以下指令，在最后一行添加以下代码

sudo gedit ~/.bashrc

添加之后进行保存

export OLLAMA_HOST=http://127.0.0.1:11434

之后打开浏览器输入http://127.0.0.1:11434，会出现，代表之前的配置安装没有问题

ollama在ubuntu下的运行

先在终端打开ollama serve开启服务，之后输入以下代码，这里如果本地没有安装该模型，会自动进行下载，一定要科学上网

ollama run llama3.2-vision

安装完成之后并输入问题就有以下提示，代表可以进行本地调用