最近在修改deeplab v3+的代码训练自己的数据进行分割任务, 因为我的数据中label为0的像素点特别多, 数据不平衡, 所以考虑对label为0的sample设置权重为0.1, 其他class权重为1.
查看tensorflow文档(需要科学上网), 该函数的参数为:
tf.losses.softmax_cross_entropy(
onehot_labels,
logits,
weights=1.0,
label_smoothing=0,
scope=None,
loss_collection=tf.GraphKeys.LOSSES,
reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)
其中
- onehot_labels是one_hot编码的label, shape为[batch_size, num_classes]
- logits是神经网络的输出, 注意要求是softmax处理之前的logits, 因为tf.losses.softmax_cross_entropy()方法内部会对logits做softmax处理, shape为[batch_size, num_classes]
-
weights
可以是一个标量或矩阵. 如果是标量, 就是对算出来的cross_entropy做缩放; 如果是矩阵, 要求shape为[batch_size, ].
可以发现, weights实际上是给batch中每个sample设置一个权重, 而不是给label的不同class设置权重. 因此, 输入的weights需要先做处理:
weights = [0.1] + 49 * [1.0] #label为0的class权重设为0.1, 其余49个class设为1, 输出一个list
weights = tf.convert_to_tensor(weights) #将list转成tensor, shape为[50, ]
weights = tf.reduce_sum(tf.multiply(onehot_labels, weights), -1) #根据labels,将weights转成对每个sample的权重
注意, onehot_labels的shape为[batch_size, 50], weights的shape为[50, ], tf.multiply()进行element对应相乘, 自动将weights进行broadcast, tf.multiply()的结果shape为[batch_size, 50], 再进行tf.reduce_sum(), 最终weights的shape是[batch_size, ]
\newline
tf.losses下其他cross_entropy函数中weights的设置同理
