北邮人智-音频感知技术团队用户500
001-Introduction of BCE
输入“/”快速插入内容
001-Introduction of BCE
001-Introduction of BCE
Sphereface2.pdf
12.98MB
1.
Principle
Softmax cross-entropy loss的多类分类训练与开放集合（非训练集所出现的数据）的成对测试存在差异，这是一个训练-测试的不对称问题。多分类任务是判断某一个数据是属于闭集中的哪一类，而成对验证要求判断一对数据（出现的不同数据可能为集合外的数据）是否同源。这种差异是比较显著的，可能会导致训练和测试偏离任务，限制性能。
Binary cross-entropy（BCE）可以减轻闭集假设，将训练视为一个开放集的学习问题。不属于任何类的训练样本是有用的，可以在BCE中作为负样本。
给定训练集的K类，BCE构建K个二元分类目标，其中目标类的数据被视为正样本，其余类的数据被视为负样本。这类似于one-vs-all分类.
多分类训练的softmax cross-entropy loss 类似于拟合一个超平面，该超平面有着K个不同的区域，这导致K个区域相互之间会有竞争，这种竞争往往不利于提高超平面的分割能力，而且仅仅局限于该闭集内的K个类别。
而BCE相当于拟合K个one-vs-all的超平面，每个超平面只需分割两个区域，不仅任务较为简单，而且在每一个二分类任务之间没有任何竞争的情况下提高鉴别能力。
2.
method
构建 K 个二分类器（ K 为类别数），第 i 个分类器的权重是 W_i ，正样本为第 i 类图片，其余均为负样本。
普通二分类
正负样本平衡
难易样本挖掘
假设进行四个类别的多分类，样本跟负类的相似度均为0.2，改变positive的相似度，绘制不同scale下，不同positive score对应的Loss。pos_score < neg_score认为是hard sample，反之则为easy sample。图a中发现，随着scale增大，hard sample的loss增大，easy sample loss减小，网络会更关注难样本的优化。