定义、常见的几种损失函数、如何选择损失函数
参考资料
常见的损失函数(loss function)总结
损失函数(Loss Function)
csdn基于上两篇笔记的总结
基于距离度量的损失函数
通常将输入数据映射到基于距离度量的特征空间上,如欧氏空间、汉明空间等。
将映射后的样本看作空间上的点,采用合适的损失函数度量特征空间上样本真实值和模型预测值之间的距离。特征空间上两个点的距离越小,模型的预测性能越好。
基于概率分布度量的损失函数
将样本间的相似性转化为随机事件出现的可能性,即通过度量样本的真实分布与它估计的分布之间的距离,判断两者的相似度,一般用于涉及概率分布或预测类别出现的概率的应用问题中,在分类问题中尤为常用。
(感受到数学基础不扎实的暴击)
个人理解:我们希望设计的损失函数在靠近零点处的导数存在且较小
,这样损失函数趋近 0 时,可以比较好的缓慢调整,从而损失函数趋于收敛变小。