背景
finetune和linear probing一般和预训练搭配出现，是预训练模型适配下游任务时可选的训练方式
finetune 微调
finetune是使用预训练模型适配下游任务时，对整个预训练模型全部进行参数更新
微调也可以选择不进行全部更新，只对后面一部分模型进行更新，因为模型前几层一般提取的都是比较公共的特征，保留的底层信息较多，可以不用进行微调
linear probing 线性探测
linear probing 是在适配下游任务时，冻住预训练模型，对其参数不进行更新，只对模型最后一层的线性层进行参数更新
线性探测一般用于检验预训练模型的好坏
一般情况下，线性探测的结果会差于微调
本文转载自: https://blog.csdn.net/weixin_48018951/article/details/130261908
版权归原作者 zzz_979 所有， 如有侵权，请联系我们删除。
版权归原作者 zzz_979 所有， 如有侵权，请联系我们删除。