【大模型 AI 学习】大模型 AI 部署硬件配置方案（本地硬件配置 | 在线GPU）

最近想部署一个开源深度学习项目，但是小编的笔记本电脑是8G的集成显存，且没有GPU，性能肯定是不够的。于是小编在小po站上粗浅了解了一下当前: 1. 大模型 AI本地硬件配置和 2. 云上申请GPU算力的两种方式。简单记录一下：

参考视频：

1. 本地部署配置 ——【大模型】个人学习大模型技术需要什么样的电脑配置？
2. 云服务器配置——GPU租用简易指南 for R308

1. 大模型本地部署硬件配置

1. 如果需求主要是部署本地大模型进行推理和微调、简单调试和复现推荐：显卡：2080ti，显卡显存11G，价格2200，推理时GPU显存占用10G，高效微调时GPU显存占用7G，达到INT4量化精度。支持多轮对话、调试、复现。
2. 如果需求是部署本地大模型进行较多调整（包含较多参数和数据）、大量调试、科研推荐：显卡：3090双卡，显卡显存48G，价格8500*2，推理时GPU显存占用30G，高效微调时GPU显存占用22G，达到全精度。

2. 云服务器方式

如果没有实验室提供经费，又觉3090、4090价格较高，可以使用在线云服务器GPU，比如阿里的autoDL

（1）选区、选GPU，按用量来进行计费。每个GPU服务器会配置一定的CPU、内存

（2）选择自己所需的系统、软件的镜像

（3）选择无卡模式开机，不消耗GPU用量，计费0.1yuan/小时，可以进行代码修改操作。需要跑模型的时候再以正常模式打开。此外，有20G的免费数据空间，可以上传需要的数据。

（4）平台提供了jupter note book快捷软件工具、终端，可以输入Python代码，读取存储数据、跑模型代码指令等。

通过简单调研，小编发现自己平时没有科研需求，主要想空闲时间跑一些有意思的大模型 AI项目，做一些微调。考虑性价比，小编更倾向在线的GPU服务器的方案。