0


Batchnorm 和Layernorm 区别

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

目录


一、Batchnorm

BatchNorm,一般用于CV任务,是把一个batch(N张图片)中同一通道的特征,将其标准化。可以理解为对Batch中的所有图的每一层像素进行标准化。


二、Layernorm

LayerNorm,一般用于NLP任务中,是把batch中的一个样本(一个句子)在当前层的所有特征,将其标准化。可以理解为对一个句子的整体进行标准化。


三、总结

由于二者的所应用的任务不同其特征维度也存在差异,图像对比会产生误解,在此用文字描述更利于理解。


本文转载自: https://blog.csdn.net/Naturino/article/details/128700638
版权归原作者 Naturino 所有, 如有侵权,请联系我们删除。

“Batchnorm 和Layernorm 区别”的评论:

还没有评论