简介
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。
官网地址
https://ollama.com/
github地址
https://github.com/ollama/ollama
博主运行环境
内存48G 金士顿cpu12代I7gpuRTX3060 laptop 12GcudaCUDA Version: 12.1系统windows11docker4.34.0
windows安装
直接访问官网地址下载exe安装即可，默认直接装在c盘下面。
C:\Users\yourname\AppData\Local\Programs\Ollama
环境变量
windows加入系统变量
#作用提高长文本推理速度
OLLAMA_FLASH_ATTENTION True
#作用可访问的ip以及端口 默认是11434
OLLAMA_HOST 0.0.0.0:11434
#模型存放位置
OLLAMA_MODELS E:\Data\OllamaCache
#设置 Ollama 服务的并行处理数量为 2，表示可以同时处理 2个请求。
OLLAMA_NUM_PARALLEL 2
如图所示
检验安装
本文转载自: https://blog.csdn.net/qq_16155205/article/details/142111086
版权归原作者 Z天蝎座 所有， 如有侵权，请联系我们删除。
版权归原作者 Z天蝎座 所有， 如有侵权，请联系我们删除。