机器学习中的特殊函数
Sigmoid
值域: 【0,1】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 0.5]
关键点[0,0.5]处的导数是 0.025
相关导数：
softplus函数
值域: (0,无穷大】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 1]
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值
其中：
相关的导数性质：
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值
tanh
tanh
(
)
=
e
−
e
−
e
+
e
−
tanh(x) = frac{e^x – e^{-x}}{e^x + e^{-x}}
tanh(x)=ex+e−xex−e−x
值域: 【-1,1】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 0]
关键点[0,0]处的导数是 1
相关导数：
x
tanh
(
x
)
=
1
−
tanh
2
(
x
)
frac{d}{dx}tanh(x) = 1 – tanh^2(x)
dxdtanh(x)=1−tanh2(x)
关键点[0,0]处的导数是 1
ReLu(x)
这个很简单
a
x
(
0
,
x
)
max(0,x)
max(0,x)
Leaky-Relu
a
x
(
α
∗
x
,
x
)
max(α∗x,x)
当
α
=
0.1
alpha = 0.1
α=0.1时：
ELU
ELU是结合了sigmoid的左侧软饱和性和ReLU的右侧无饱和性而提出的一种新的激活函数。从上面图中不难看到这一特点。右侧线性部分使得ELU可以缓解梯度消失问题，而左侧软饱和性能让ELU对输入变化或噪声更鲁棒。而且ELU的输出均值接近于0，所以没有严重的偏移现象，所以收敛速度更快。但是计算复杂了些
SiLu/ Swish
SiLU（Sigmoid Linear Unit）函数的 LaTeX 表达式是：
S
i
L
U
(
x
)
=
x
⋅
σ
(
x
)
SiLU(x)=x⋅σ(x)
其中，
σ
(
x
)
sigma(x)
σ(x) 表示 sigmoid 函数，即
σ
(
x
)
=
1
1
+
e
−
x
σ(x)=1+e−x1。
SiLU 函数的值域是
(
−
∞
,
∞
)
(−∞,∞)，因为该函数在输入值
x
x
SiLU 函数的导数表达式是：
(
S
i
L
U
(
x
)
)
′
=
σ
(
x
)
+
x
⋅
σ
(
x
)
⋅
(
1
−
σ
(
x
)
)
(SiLU(x))’ = sigma(x) + x cdot sigma(x) cdot (1 – sigma(x))
(SiLU(x))′=σ(x)+x⋅σ(x)⋅(1−σ(x))
这里的导数表达式是基于 SiLU 函数的定义和求导法则计算得出的。
需要注意的是，SiLU 函数是一种较为新型的激活函数，与传统的 sigmoid 和 ReLU 函数相比，它在某些任务上可能具有更好的性能表现。
相对于ReLU函数，SiLU函数在接近零时具有更平滑的曲线，并且由于其使用了sigmoid函数，可以使网络的输出范围在0和1之间。这使得SiLU在一些应用中比ReLU表现更好，例如在语音识别中使用SiLU比ReLU可以取得更好的效果。
导数：
Mish
Mish激活函数的LaTeX表达式是：
M
i
s
h
(
x
)
=
x
⋅
tanh
(
ln
(
1
+
e
x
)
)
Mish(x) = x cdot tanh(ln(1 + e^x))
Mish(x)=x⋅tanh(ln(1+ex))
Mish激活函数的值域是
(
−
∞
,
∞
)
(−∞,∞)，与SiLU函数类似，它在输入值
x
x
关于Mish激活函数的导数，其LaTeX表达式相对复杂。根据导数的定义和链式法则，我们可以推导出：
(
M
i
s
h
(
x
)
)
′
=
tanh
(
ln
(
1
+
e
x
)
)
+
4
e
x
(
1
+
e
x
)
2
(Mish(x))’ = tanh(ln(1 + e^x)) + frac{4e^x}{(1 + e^x)^2}
(Mish(x))′=tanh(ln(1+ex))+(1+ex)24ex
需要注意的是，Mish激活函数是一种相对较新的激活函数，被提出用于改善神经网络的性能。它具有一些有趣的特性，例如非单调性和自门控性质，这使得它在某些任务上可能具有更好的性能表现。与SiLU相比，Mish在一些实验中被证明能够取得更好的结果。
导数图：
引用原始论文，Mish 是“通过系统分析和实验发现并使 Swish 更加有效”。 就目前来说Mish可能是
最好的激活函数，但请原始论文仅在计算机视觉任务上对其进行了测试。
伽玛函数
beta函数
Ref
原文地址:https://blog.csdn.net/weixin_43702920/article/details/134670543
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_4551.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
