0


Windows离线部署vllm

1、安装WSL2步骤

1.为Linux启用子系统

检查windows功能是否开启了 适用于 Liunx 的 Windows 子系统 的设置(如果未开启,开启之后需要重启电脑)

cmd命令 wsl -l -v 检查管理适用于 Liunx 的 Windows 子系统的分发,如果没有分发版的则执行:

1、wsl -l -v

2、

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

重启电脑(注意:需要开启 适用于 Liunx 的 Windows 子系统 的设置 才重新启动计算机 如果已开启,则不需要)

2.检查WSL2的要求

(对于64位系统,版本1903或更高,版本18362或更高。

对于ARM64系统:版本2004或更高,版本19041或更高。)

检查电脑版本 :win+r 在搜索框输入 winver 查看当前版本 19044比1903高符合要求

查看电脑是否开启开发人员模式

3.启用虚拟机功能

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

4.安装Linux内核更新包****

下载地址:https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi双击安装

5.将WSL2设置为默认版本

wsl --set-default-version 2

******6.**安装选择的Linux发行版

进入https://docs.microsoft.com/en-us/windows/wsl/install-manual选择合适的系统安装包,这里选择ubuntu22.04

由于这个包比较大,在浏览器里点击下载链接右键,提取下载地址,打开迅雷或者其他第三方下载工具,新建下载任务,由于迅雷有国内的CDN加速,一般下载可以跑满带宽。原来需要8个小时的任务,现在几分钟就好了。

下载完成后,双击安装完成。一般第一次进入Ubuntu系统,需要设置用户名,密码等。安装系统提示操作即可。

7.安装成功

在cmd命令界面查看是否安装成功,出现跟截图一样,则已成功

  • root用户修改密码

cmd窗口使用:

wsl --user root

命令登录root用户,使用

passwd root

命令修改root用户密码

2、vllm安装

1.Anaconda3安装

进入wsl2终端Anaconda3安装包的目录下本文以D盘为例:

cd /mnt/d

bash Anaconda3-2024.06-1-Linux-x86_64.sh

即可开始安装。安装过程一路回车输入yes即可,注最后一步建议输yes,会将conda环境变量写入~/.bashrc文件中。

anaconda3下载地址

安装完成使用命令:

conda -V

查看

如果环境变量未生效,按照下面方法执行:

vim ~/.bashrc

在最后一行添加下面命令

export PATH=$PATH:/path/to/anaconda3/bin

替换/path/to/anaconda3为您的实际安装路径。之后,运行

source ~/.bashrc

来更新环境变量。

2.激活python虚拟环境

将准备好的环境压缩vllm.tar.gz文件解压至anaconda安装路径的envs路径下进行解压。

tar -xzvf vllm.tar.gz -C vllm

解压完成后使用

conda activate vllm

检查环境是否迁移成功

标签: windows 人工智能

本文转载自: https://blog.csdn.net/java_Lrui/article/details/140680806
版权归原作者 LI谨川 所有, 如有侵权,请联系我们删除。

“Windows离线部署vllm”的评论:

还没有评论