0


LocalAI离线安装部署

简介

LocalAI是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API,与 OpenAI(Elevenlabs、Anthropic……)API 规范兼容,用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频(不止于此),支持多种模型系列。不需要 GPU。它由 Ettore Di Giacinto创建和维护。

离线安装流程

源码链接:https://github.com/mudler/LocalAI
https://localai.io/basics/container/
前提: 需要能科学上网,镜像源只能在国外下载。

1.拉取镜像

docker pull localai/localai:latest-cpu
拉取的是干净的,里面没有任何模型
注意离线安装,不要拉取localai/localai:latest-aio-cpu版本的,这个需要在线下载依赖

2.运行服务

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-cpu

在这里插入图片描述

3.下载模型:https://huggingface.co/openai/whisper-large-v3

ggml-large-v3.bin
创建配置文件:

vim whisper-1.yaml
---
backend: whisper
name: whisper-1
parameters:
  model: ggml-large-v3.bin

模型文件和配置文件上传到服务器目录:/opt/models

4.挂载配置文件,启动服务

docker run -d -ti --name localai -p 8080:8080 -v /opt/models:/build/models localai/localai:latest-cpu

5.查看文件是否挂载成功:

docker ps
14dc8676c4ab
进入容器内部:
docker exec -it 14dc8676c4ab /bin/bash
model 目录在:/build/models

在这里插入图片描述

6.验证服务

在这里插入图片描述
说明离线导入模型成功,其他模型导入参照这个即可。

总结

模型配置文件格式一定要正确,否则导入会报错。


本文转载自: https://blog.csdn.net/weixin_38255219/article/details/140380381
版权归原作者 dylan_白羊 所有, 如有侵权,请联系我们删除。

“LocalAI离线安装部署”的评论:

还没有评论