0


Win10环境下使用Ollama搭建本地AI

前言:

1、Ollama需要安装0.1.27版本,高于这个版本在执行Ollama run 指令时会频繁触发一些奇奇怪怪的问题。

2、4.3篇章是重点,若你需要使用web访问的话,莫要忘记!

3、本文章适合新手。

4、篇章5中会介绍如何在vscode中利用ollama实现类似copilot的功能。

1、安装Ollama

    前往Ollama官网下载Windows版本的安装包,双击安装。需要注意的是,安装过程中有可能会触发杀毒软件警报,记得放行。

2、下载并运行AI模型

    打开cmd界面。执行ollama run codellama。或者前往AI模型列表选择自己想要的AI模型,执行ollama run 指令。执行成功它会判断是否已经安装,若未安装,将会自动安装并打开。以下是安装成功的效果。

3、更改AI模型下载位置。

    打开环境变量,在系统变量中新增OLLAMA_MODELS变量,值填入想要存放模型的路径。如下。

4、使用webui访问。

    4.1、启动并验证OLLAMA服务是否正常

            当OLLAMA启动后,访问localhost:11434。若页面出现Ollama is running。则说明程序正常。   

    4.2、更改访问IP

            在环境变量-系统变量中新增OLLAMA_HOST,值填入0.0.0.0。重新运行OLLAMA后,就可以通过本机IP访问。

    4.3、开放跨域权限

            在环境变量-系统变量中新增OLLAMA_ORIGINS,值填入*;【* -->英文星号】。不开放跨域,在使用ollama-webui-lite访问ollama时,会弹出Error: ollama version is 0错误。

    4.4、安装 ollama-webui-lite  

            想要折腾的,建议安装这个open-webui。我尝试在Windows10上运行,但是跑不起来。所以换成了ollama-webui-lite。lite是基于open-webui上做了精简,删掉了无关的组件,仅保留webui功能。

            安装并执行ollama-webui-lite。然后打开ip:3000,就能打开AI的web界面了。之后安装模型,删除模型你就可以直接用web界面来控制。

5、在vscode中使用ollama进行自动补全代码。

    具体文章访问这个吧。ollama+vscode实现本地github copilot

    
标签: 人工智能 Vue Ollama

本文转载自: https://blog.csdn.net/QiZi_Zpl/article/details/137133486
版权归原作者 小朱小先生 所有, 如有侵权,请联系我们删除。

“Win10环境下使用Ollama搭建本地AI”的评论:

还没有评论