0


Windows10/11部署llama及webUi使用

前言

整体是希望在windows下安装llama3:8b 以及 gemma:7b两个大模型,并使用open/ollama-webui来访问

从目标出发,llama3和gemma都属于开源大模型,可以自行编译,但是那个步骤对于初步探索的人来说要求太高了,暂时不考虑这条路。因此以先用起来的目的作为导向,强烈推荐直接使用官方推荐的ollama来直接安装。
open/ollama-webui,现在叫open-webui,之前叫ollama-webui,都一样,不是很重要,同样可以自行编译,和上面一样,自行编译很麻烦,官方提供了直接在docker内的快速安装方法。

总结来说:

  1. 通过ollama来快速安装llama3:8b以及gemma:7b两个大模型,ollama直接支持windows版本的安装程序
  2. 通过docker快速安装open/ollama-webui,docker官方也提供了windows版本安装程序

下载链接:【可能需要科学上网】

  1. Docker for windows
  2. Ollama for windows
  3. 大模型库,看名字和版本的

路径概述

标签: windows llama docker

本文转载自: https://blog.csdn.net/m0_46541374/article/details/139063508
版权归原作者 闲杂人等12138 所有, 如有侵权,请联系我们删除。

“Windows10/11部署llama及webUi使用”的评论:

还没有评论