最全的深度学习回归损失函数

​

12. HUber损失

Huber损失是二次和线性评分算法的理想组合：

L

δ

=

{

1

2

(

y

i

−

y

^

)

2

if  

∣

(

y

−

y

^

)

∣

<

δ

δ

(

y

−

y

^

)

−

1

2

δ

otherwise

L_delta= begin{cases} frac{1}{2}(y_i–hat{y})^2&amp; text{if} ~~|(y-hat{y})|<delta\ delta (y-hat{y})-frac{1}{2}delta&amp; text{otherwise} end{cases}

Lδ​={21​(yi​−y^​)2δ(y−y^​)−21​δ​if  ∣(y−y^​)∣<δotherwise​
Huber损失是二次和线性两个损失函数的组合。损失的行为由阈值的值来定义。对于超过阈值的损失值，损失是线性的，否则是二次的。

13. 对数余弦损失

Log Cosh Loss， Log–cosh计算误差的双曲余弦的对数：

L

o

g

c

o

s

h

(

t

)

=

∑

i

=

1

N

l

o

g

[

c

o

s

h

(

y

i

−

y

^

i

)

]

Logcosh(t)=sum_{i=1}^Nlog[cosh(y_i-hat{y}_i)]

Logcosh(t)=i=1∑N​log[cosh(yi​−y^​i​)]
这种损失在行为上非常接近Huber损失，因为它对于非常大的误差值具有线性行为，而对于小的损失值具有二次性行为。这里的好处是，您不必像Huber损失的情况那样决定阈值的值。

14. 分位数损失函数

Quantile Loss，分位数回归损失函数用于预测分位数。分位数是指示组中有多少值低于或高于特定阈值的值：

Q

u

a

n

t

i

l

e

L

o

s

s

=

∑

i

=

y

i

<

y

^

i

(

γ

−

1

)

∣

y

i

−

y

^

i

∣

+

∑

i

=

y

i

>

y

^

i

(

γ

)

∣

y

i

−

y

^

i

∣

QuantileLoss = sum_{i=y_i<hat{y}_i}(gamma-1)|y_i-hat{y}_i|+sum_{i=y_i>hat{y}_i}(gamma)|y_i-hat{y}_i|

QuantileLoss=i=yi​<y^​i​∑​(γ−1)∣yi​−y^​i​∣+i=yi​>y^​i​∑​(γ)∣yi​−y^​i​∣
这里，

γ

gamma

γ表示所需的分位数。分位数是根据我们希望如何平衡正误差和负误差来选择的。

15. 后验极大似然损失函数

后验极大似然（PML）损失函数的具体公式是通过最大化参数的后验概率密度函数来估计参数值，而不是最大化似然函数。在贝叶斯统计中，可以表示为：

L

(

θ

)

=

a

r

g

m

a

x

P

(

θ

∣

D

)

L(theta) = argmax P(theta|D)

L(θ)=argmaxP(θ∣D)

其中，L(θ)是损失函数，θ是参数，P(θ|D)是给定观测数据D条件下参数θ的后验概率密度函数。

根据贝叶斯公式，可以将后验概率密度函数表示为：

P

(

θ

∣

D

)

=

P

(

D

∣

θ

)

∗

P

(

θ

)

/

P

(

D

)

P(theta|D) = P(D|theta) * P(theta) / P(D)

P(θ∣D)=P(D∣θ)∗P(θ)/P(D)
其中，P(D|θ)是给定参数θ的似然函数，P(θ)是参数θ的先验分布，P(D)是数据的边缘概率。

最大化后验概率密度函数等价于最大化条件似然函数 P(D|θ) * P(θ)，即：

L

(

θ

)

=

a

r

g

m

a

x

P

(

D

∣

θ

)

∗

P

(

θ

)

L(theta) = argmax P(D|theta) * P(theta)

L(θ)=argmaxP(D∣θ)∗P(θ)
后验极大似然损失函数的具体形式和计算方法取决于所选择的先验分布和问题的特定情况。因此，公式中涉及的概率分布和参数估计方法会根据具体问题的需求而有所不同。

16. 泊松损失

Poisson Loss, 它基于泊松分布的概率密度函数和模型预测的平均计数之间的差异。泊松损失（Poisson Loss）适用于计数数据的预测。泊松损失基于泊松分布的概率密度函数和模型预测的平均计数之间的差异来衡量模型的拟合程度：

p

o

i

s

s

o

n

(

P

,

T

)

=

1

N

∑

i

=

1

N

(

P

i

−

T

i

l

o

g

(

P

i

)

)

poisson(P,T)= frac{1}{N} sum_{i=1}^N(P_i −T_i log(P_i ))

poisson(P,T)=N1​i=1∑N​(Pi​−Ti​log(Pi​))

参考文章：
https://medium.com/@mlblogging.k/14-loss–functions-you-can-use–for-regression-b24db8dff987