Windows（Win10、Win11）本地部署开源大模型保姆级教程

目录

点我去AIGIS公众号查看本文

本期教程用到的所有安装包已上传到百度网盘

链接：https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA
提取码：wzw7

前言

  最近开源大模型可谓闹的沸沸扬扬，尤其是

Microsoft

开源的

wizardlm2 8*22b

和

Meta

开源的

llama3 70b

，评测都已经接近了

OpenAI GPT4

的水平。鉴于还有很多同学不会在

Windows（Win10、Win11）

上部署和使用本地模型，因此我们出一期保姆级教程。

1.安装ollama

ollama

是一个离线运行大模型的工具，注意你可不要把它和

Meta

的大模型

llama

混淆，二者不是同一个东西。

ollama

工具的下载地址为

https://ollama.com/download

,选择

Windows

版本进行下载安装即可。

2.安装大模型

ollama

默认安装路径为

C:\Users\用户名\AppData\Local\Programs\Ollama

，我们先进入到这个路径

  然后在地址栏输入

cmd

后回车

  此时会打开一个命令终端黑框

  现在输入

ollama run llama3

  等待下载完成即可。恭喜你！现在你可以开始问问题了！
  现在我们还有一个问题，这个界面不好看，我们要它的界面和

OpenAI

一样的风格，可以，必须满足你。

首次安装会自动打开该cmd界面

3.安装HyperV

  先根据以下操作路径看看自己电脑有没有

HyperV

安装选项：控制面板-程序-启用或关闭

Windows

功能-

HyperV

.



  如果没有

HyperV

安装选项，则新建一个

.txt

文件，将以下内容拷贝进去,然后把文件后缀名改为

.bat

,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装

HyperV

pushd"%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in('findstr /i . hyper-v.txt 2^>nul')do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

4.安装Docker

  直接在

Docker

官网

https://www.docker.com/products/docker-desktop/

下载最新版本的

Docker Desktop

，我下载的是

Docker Desktop4.28.0

，其中包含的

Docker

的版本是25.0.3，

Docker-Compose

的版本是2.24.6。注意不要混淆

Docker

和

Docker Desktop

。如果是低版本的

Docker Desktop

，那就需要自己手动安装

Docker-Compose

了。


  配置一下

Docker

访问中国镜像源

{"builder":{"gc":{"defaultKeepStorage":"20GB","enabled":true}},"experimental":false,"registry-mirrors":["http://f1361db2.m.daocloud.io","https://registry.docker-cn.com"]}

  配置完毕之后在

cmd

输入

docker version

确认一下是否安装成功了。

5.安装聊天界面

  有了之前的操作之后，接下来我们的操作就简单多了，直接在

cmd

中运行以下命令，安装聊天界面

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  回到

Docker

界面看看是否已经在运行

WebUI

了，图标亮起就表示已经在运行了，点击后面的端口号就可以在浏览器中查看了。

  先注册，后登陆，然后选择模型，就可以开始聊天了。

后面得看看有没有办法在离线环境下打开这个聊天界面，目前离线环境下打开界面还是不太方便。

6.总结

  本文讲述了如何在

Windows（Win10 Win11）

上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示，希望对非计算机的同学也有所帮助。

AI

时代我们每个人都必须要掌握一些

AI

知识，相信不断学习的你一定不会被

AI

淘汰。这只是开始，后面我们还有很多工作要做，尤其是提示词和智能体方面的知识，我们仍需要不断的学习，后续我也会持续更新，希望我们都能跟上时代的潮流。
更多精彩内容见公众号AIGIS