2024年 AI大模型我该买一张什么卡？

有钱啥也不用说，买张最贵的就是了。对囊中羞涩的我还说，我该买张什么样的显卡呢？

我的旧显卡RTX1060 6G，满负荷消耗功率110多瓦，几乎达到设计最大TDP，周日时拿了朋友的RTX3060Ti 8G，发现是锁算力的，GPU使用率100%时，消耗功率也才 33% TDP，只有 65瓦，远没达到最大200瓦的设计TDP值（后来发现这个结论是错误的，可能与Pytorch2.5.0+cu124有关，消耗功率去到了158瓦），速度比RTX1060快了3倍左右。

看了文章《2024年 AI大模型显卡推荐 我该买一张什么卡》后，本来考虑买张RTX2080TI 22G魔改版或Tesla P40的，看了文章《NVIDIA Tesla GPU系列P40参数性能——不支持半精度(FP16)模型训练》发现 P40也不是那么合适，再看了视频《【捡显卡】二手城淘到2080Ti猛禽，六年前的旗舰还能有4070的几成功力？2080Ti猛禽清理、介绍、对比4070性能测试》也在犹豫要不要买RTX2080Ti 22G魔改版，还是买张原11G版？

从文章《2024年 AI大模型显卡推荐 我该买一张什么卡》中引用的《The Best GPUs for Deep Learning in 2023 — An In-depth Analysis》、《https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks》先看看不同显卡的性能图：

（下面这张是根据柱形图片像素宽度标注的数值 ）

**参考上面文章数据，nVidia官方显卡数据，汇总了几张市面上有卖自己也勉强能买得起的显卡做了张表，比较下： **

贴张chiphell上1080ti参数图（华硕Rog猛禽Gtx 1080ti 200W到300W）

发现RTX2080Ti除了功耗大，只能买二手外，性能还是很强劲的，强大的性能伴随着高功耗好像又是必然的，剩下的缺点就是二手的东西，是否可靠的、以及居高的价钱是否能接受了。

AI能力主要是看Tensor Core能力，可惜nVidia直到40系列才标出Tensor Core指标数值，我们发现同为40系列的4060Ti与4070Ti，因为Tensor Core指标相差巨大，实测的AI能力也相差巨大，与Tensor Core指标成正比（见下图）。

除了显卡的算力，还需要考虑显存大小，然后就发现，黄老板对普通大众太不友好了，大显存的，都只能是高高在上的高端卡。

研究到最后发现：既然现在有朋友的RTX3060TI先用着，如果不买大内存22G的魔改版的话，实在没有要换显卡的冲动了（谁叫我穷呢），几时朋友要拿回再考虑了^_^

忍不住冲动，还是买了张华硕猛禽2080ti魔改22G，性能比3060ti还是要强不少。

下载甜甜圈（furmark）测试软件ZIP版本（解压即用无需安装），测试：

用训练模型几乎占满显存测试了20多小时，一切正常，暂时来说，魔改的显存没什么问题：