从零实现深度学习框架——实现Tensor的反向传播
在常见运算的计算图中,我们了解了加减乘除等运算的计算图。本文通过代码实现加法和乘法的计算图来了解我们的`Tensor`自动反向传播计算梯度的模式。
计算 Python 代码的内存和模型显存消耗的小技巧
本篇文章我们将介绍两个 Python 库 memory_profiler和Pytorch-Memory-Utils,这两个库可以帮助我们了解内存和显存的消耗。
联邦学习(Federated Learning)详解以及示例代码
联邦学习也称为协同学习,它可以在产生数据的设备上进行大规模的训练,并且这些敏感数据保留在数据的所有者那里