nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法

本文介绍: 如果我们在做多分类任务，有些类比较重要，有些类不太重要，想要模型更加关注重要的类别，那么只需将比较重要的类所对应的w权重设置大一点，不太重要的类所对应的w权重设置小一点。其中pos_weight对应上式公式中的p_c,这个参数是为了调节正负样本不均衡问题的，如果正负样本比是10：1，那么我们可以将p_c设置为1/10来平衡正负样本。上式是nn.BCEWithLogitsLoss损失函数的计算公式，其中w_n对应weight参数。

nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法

weight参数
pos_weight参数

weight参数

nn,BCEWithLogitsLoss损失函数计算公式
上式是nn.BCEWithLogitsLoss损失函数的计算公式，其中w_n对应weight参数。
如果我们在做多分类任务，有些类比较重要，有些类不太重要，想要模型更加关注重要的类别，那么只需将比较重要的类所对应的w权重设置大一点，不太重要的类所对应的w权重设置小一点。
下面是一个代码演示：

	import torch
    import torch.nn as nn

    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    a = torch.tensor([[1.0, 2.0],[1.0,2.0]])
    m = nn.Sigmoid()
    b = torch.Tensor([[0, 1],[0,1]])
    loss_function = nn.BCEWithLogitsLoss()
    loss_function1 = nn.BCEWithLogitsLoss(weight=torch.tensor([0, 1.0]))
    loss_function2 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 0]))
    loss_function3 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 1.0]))
    loss_function4 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 2.0]))
    loss = loss_function(a, b)
    loss1 = loss_function1(a, b)
    loss2 = loss_function2(a, b)
    loss3 = loss_function3(a, b)
    loss4 = loss_function4(a, b)
    print(loss, loss1, loss2, loss3, loss4)