本文将介绍解梯度检查点(Gradient Checkpointing),这是一种可以让你以增加训练时间为代价在 GPU 中训练大模型的技术。 我们将在 PyTorch 中实现它并训练分类器模型。
资讯同步
文章同步
公众号:deephub-imba
公众号:奕凯的技术栈