简介
LocalAI是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API,与 OpenAI(Elevenlabs、Anthropic……)API 规范兼容,用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频(不止于此),支持多种模型系列。不需要 GPU。它由 Ettore Di Giacinto创建和维护。
离线安装流程
源码链接:https://github.com/mudler/LocalAI
https://localai.io/basics/container/
前提: 需要能科学上网,镜像源只能在国外下载。
1.拉取镜像
docker pull localai/localai:latest-cpu
拉取的是干净的,里面没有任何模型
注意离线安装,不要拉取localai/localai:latest-aio-cpu版本的,这个需要在线下载依赖
2.运行服务
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-cpu
3.下载模型:https://huggingface.co/openai/whisper-large-v3
ggml-large-v3.bin
创建配置文件:
vim whisper-1.yaml
---
backend: whisper
name: whisper-1
parameters:
model: ggml-large-v3.bin
模型文件和配置文件上传到服务器目录:/opt/models
4.挂载配置文件,启动服务
docker run -d -ti --name localai -p 8080:8080 -v /opt/models:/build/models localai/localai:latest-cpu
5.查看文件是否挂载成功:
docker ps
14dc8676c4ab
进入容器内部:
docker exec -it 14dc8676c4ab /bin/bash
model 目录在:/build/models
6.验证服务
说明离线导入模型成功,其他模型导入参照这个即可。
总结
模型配置文件格式一定要正确,否则导入会报错。
版权归原作者 dylan_白羊 所有, 如有侵权,请联系我们删除。