使用Unit Scaling进行FP16 和 FP8 训练

Unit Scaling 是一种新的低精度机器学习方法，能够在没有损失缩放的情况下训练 FP16 和 FP8 中的语言模型。

Deephub 2023-03-31 10:35:03 0 收藏
登录可以使用的更多功能哦！ 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号：deephub-imba

...
奕凯

公众号：奕凯的技术栈