Linux 手动安装Ollama

Linux 离线安装Ollama

前言
不知道为什么 在阿里云服务器上 执行

curl -fsSL https://ollama.com/install.sh | sh

一键安装 非常慢
所以只能手动装了

1.到 https://ollama.com/install.sh 下载安装执行文件
修改其中 下载和安装部分代码

ifcurl-I--silent--fail--location"https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}">/dev/null ;then
    status "Downloading Linux ${ARCH} bundle"curl--fail --show-error --location --progress-bar \"https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}"|\$SUDOtar-xzf - -C"$OLLAMA_INSTALL_DIR"BUNDLE=1if["$OLLAMA_INSTALL_DIR/bin/ollama"!="$BINDIR/ollama"];then
        status "Making ollama accessible in the PATH in $BINDIR"$SUDOln-sf"$OLLAMA_INSTALL_DIR/ollama""$BINDIR/ollama"fielse
    status "Downloading Linux ${ARCH} CLI"curl--fail --show-error --location --progress-bar -o"$TEMP_DIR/ollama"\"https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"$SUDOinstall-o0-g0-m755$TEMP_DIR/ollama $OLLAMA_INSTALL_DIR/ollama
    BUNDLE=0if["$OLLAMA_INSTALL_DIR/ollama"!="$BINDIR/ollama"];then
        status "Making ollama accessible in the PATH in $BINDIR"$SUDOln-sf"$OLLAMA_INSTALL_DIR/ollama""$BINDIR/ollama"fifi#将上面这段代码替换为下面这段：LOCAL_OLLAMA_TGZ="./ollama-linux-${ARCH}.tgz${VER_PARAM}"if[-f"$LOCAL_OLLAMA_TGZ"];then
    status "Installing from local file $LOCAL_OLLAMA_TGZ"$SUDOtar-xzf"$LOCAL_OLLAMA_TGZ"-C"$OLLAMA_INSTALL_DIR"BUNDLE=1if[!-e"$BINDIR/ollama"];then
        status "Making ollama accessible in the PATH in $BINDIR"$SUDOln-sf"$OLLAMA_INSTALL_DIR/ollama""$BINDIR/ollama"fielseecho"Error: The local file $LOCAL_OLLAMA_TGZ does not exist."exit1fi

2.然后将修改后的install.sh文件上传至/home/Ollama文件夹中
3.到 https://github.com/ollama/ollama/releases/下载对应的包
具体需要什么型号的可通过 lscpu 命令 查看自己的cpu架构

 x86_64 CPU 选择下载 ollama-linux-amd64.tgz
 aarch64|arm64 CPU 选择下载 ollama-linux-arm64.tgz

4.然后就可以执行了

# 执行installl.sh脚本，需要sudo 权限  chmod +x install.sh
./install.sh
# 如果报错误权限不足，执行chmod +x install.sh
# 如果报错误： bash: ./build_android.sh：/bin/sh^M：解释器错误: 没有那个文件或目录，执行sed-i's/\r$//' install.sh

到这里就可以了 运行 ollama run qwen 就可以下载并运行大模型了
需要哪些模型可以到官网参考https://ollama.com/library

5.如果需要对外暴露可以访问 可按照下面操作修改
修改ollama.service配置

在ollama.service 文件中增加 Environment=“OLLAMA_HOST=0.0.0.0:11434”

[Unit]Description=Ollama Service
After=network-online.target

[Service]ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="PATH=/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"[Install]WantedBy=default.target

还可以配置并发

Environment="OLLAMA_NUM_PARALLEL=4"#并行处理请求的数量Environment="OLLAMA_MAX_LOADED_MODELS=4"#同时加载的模型数量

重新加载 并从新启动
sudo systemctl daemon-reload
sudo systemctl restart ollama

其他常用命令

判断我的模型是否已加载到 GPU 上
ollama ps

监控显卡使用状况
watch-d nvidia-smi

参考：https://blog.csdn.net/u010197332/article/details/137604798