微软透露 AI 基础设施 Singularity

微软研究人员在预印本网站 arxiv 上发表论文，透露了一个遍布全球的针对 AI 工作负荷的分布式基础设施
Singularity。论文主要介绍的是 Singularity 的调度器，但也透露了 Singularity 的部分细节。Singularity 服务器使用的 CPU 是英特尔的 Xeon Platinum 8168，GPU 是英伟达的 Tesla V100，内存 692GB。每台服务器有 8 个 V100 Model GPU，可能还配有 FPGA 等加速器。Singularity 有数万台服务器，这意味着 GPU 的数量将超过 10 万。微软研究人员称，Singularity 在调度深度学习工作负载上实现了重大突破，扩大或缩小使用的设备规模非常便利。