0


在docker中部署ollama体验AI模型

docker部署ollama

1.docker部署ollama

CPU模式

docker run -d-v /opt/ai/ollama:/root/.ollama -p11434:11434 --name ollama ollama/ollama

GPU模式(需要有NVIDIA显卡支持)
docker使用GPU运行ollama

docker run --gpus all -d-v /data/ai/ollama:/root/.ollama -p11434:11434 --name ollama ollama/ollama

docker部署ollama web ui

docker run -d-p8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

ollama模型仓库(可以选择自己想用的模型安装体验)[地址](https://ollama.com/library)

使用docker中的ollama下载并运行AI模型

dockerexec-it ollama ollama run llama3:8b

本文转载自: https://blog.csdn.net/weimeilayer/article/details/139267295
版权归原作者 ❀͜͡傀儡师 所有, 如有侵权,请联系我们删除。

“在docker中部署ollama体验AI模型”的评论:

还没有评论