提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
目录
一、Batchnorm
BatchNorm,一般用于CV任务,是把一个batch(N张图片)中同一通道的特征,将其标准化。可以理解为对Batch中的所有图的每一层像素进行标准化。
二、Layernorm
LayerNorm,一般用于NLP任务中,是把batch中的一个样本(一个句子)在当前层的所有特征,将其标准化。可以理解为对一个句子的整体进行标准化。
三、总结
由于二者的所应用的任务不同其特征维度也存在差异,图像对比会产生误解,在此用文字描述更利于理解。
版权归原作者 Naturino 所有, 如有侵权,请联系我们删除。