nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法

nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法

weight参数

上式是nn.BCEWithLogitsLoss损失函数的计算公式，其中w_n对应weight参数。
如果我们在做多分类任务，有些类比较重要，有些类不太重要，想要模型更加关注重要的类别，那么只需将比较重要的类所对应的w权重设置大一点，不太重要的类所对应的w权重设置小一点。
下面是一个代码演示：

import torch
    import torch.nn as nn

    device = torch.device("cuda:0"if torch.cuda.is_available()else"cpu")
    a = torch.tensor([[1.0,2.0],[1.0,2.0]])
    m = nn.Sigmoid()
    b = torch.Tensor([[0,1],[0,1]])
    loss_function = nn.BCEWithLogitsLoss()
    loss_function1 = nn.BCEWithLogitsLoss(weight=torch.tensor([0,1.0]))
    loss_function2 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0,0]))
    loss_function3 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0,1.0]))
    loss_function4 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0,2.0]))
    loss = loss_function(a, b)
    loss1 = loss_function1(a, b)
    loss2 = loss_function2(a, b)
    loss3 = loss_function3(a, b)
    loss4 = loss_function4(a, b)print(loss, loss1, loss2, loss3, loss4)

运行结果：

其中[1.0, 2.0]经过sigmoid层之后的值是[0.7311,0.8808]
对于loss的计算过程如下所示：

pos_weight参数

其中pos_weight对应上式公式中的p_c,这个参数是为了调节正负样本不均衡问题的，如果正负样本比是10：1，那么我们可以将p_c设置为1/10来平衡正负样本。