数据学习
登录
注册
原创博客
期刊会议
学术世界
期刊出版社
领域期刊
SCI/SCIE/SSCI/EI简介
期刊列表
会议列表
所有期刊分区
学术期刊信息检索
JCR期刊分区查询
CiteScore期刊分区查询
中科院期刊分区查询
领域期刊分区
管理 - UTD24期刊列表
管理 - AJG(ABS)期刊星级查询
管理 - FMS推荐期刊列表
计算机 - CCF推荐期刊会议列表
高校期刊分区
南大核心(CSSCI)
合工大小核心
合工大大核心
AI资源仓库
AI领域与任务
AI研究机构
AI学术期刊
AI论文快讯
AI数据集
AI开源工具
AI模型
AI模型概览图
AI模型月报
AI基础大模型
AI预训练大模型
数据推荐
网址导航
我的网址导航
程序员必备网站
超越Cross-Entropy Loss(交叉熵损失)的新损失函数——PolyLoss简介
标签:
#损失函数#
#深度学习#
时间:2022/05/03 17:31:30
作者:小木
Google旗下自动驾驶公司Waymo的研究人员Mingxing Tan发现了一个可以替代Cross-Entropy Loss的新的损失函数:PolyLoss,这是发表在ICLR 22的一篇新论文。什么都不变的情况下,只需要将损失函数的代码替换成PolyLoss,那么模型在图像分类、图像检测等任务的性能就会有很好的提升!

如上图所示,ImageNet的分类、COCO的图像检测与划分以及Waymo开放3D数据集的3D检测等,使用PolyLoss之后的模型,其性能都有所提升。 那么这个神奇PolyLoss来自哪里呢?其实就是来自泰勒展开式(Taylor Expansion),如果你用泰勒展开式去展开交叉熵,你会发现其多项式系数是$\frac{1}{j}$,但是这些系数对于所有的模型和任务来说都是固定的,但是是不是就是就是最优的呢?显然可能不是。

于是,他们提出,这个系数应该是针对不同模型和任务进行调优。根据他们的测试,前导项(the leading term)是最重要的,于是他们加入了一个可调整(tunable)项:$\epsilon \cdot (1-P\_t)$。并将该损失函数称为PolyLoss。 PolyLoss是一个通用的框架,可以很容易转成 cross-entropy loss, focal loss, and other losses等。作者仅仅更改损失函数,并将$\epsilon$变成tunable,就可以提升很多模型效果: EfficientNetV2:最优的$\epsilon=2$ Mask-RCNN:最优的$\epsilon=-1$ RSN 3D detection:最优的$\epsilon=-0.4$ 对于如何寻找最优的$\epsilon$结果,作者给出了一个简单的方法,就是从-1到1之间去不同尝试,一般来说尝试4-5次即可。需要注意的是,$\epsilon$的值必须大于-1,以保证损失函数是单调的。 原文:https://arxiv.org/abs/2204.12511
欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
相关博客
最热博客