Label-Smoothing

https://www.datalearner.com/blog/1051561454844661

标注数据不准确的时候,用交叉熵不太好。训练数据不会覆盖所有的情况,也不会全部都是准确的,所以使用交叉熵其实并不好。

其实是把原来的标注做一些修改,比如把[0,1]改为[0.05,0.95]

https://zhuanlan.zhihu.com/p/101553787

神经网络被训练得对自己的答案不那么自信。标签平滑强制对分类进行更紧密的分组,同时强制在聚类之间进行更等距的间隔。

以前的研究(Guo et al)表明,神经网络常常过于自信,相对于它们的真实准确性校准得很差。