2023-简单点-机器学习中常用的特殊函数，激活函数[sigmoid tanh ]

Sigmoid

值域: 【0,1】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 0.5]
关键点[0,0.5]处的导数是 0.025

相关导数：

softplus函数

值域: (0,无穷大】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 1]
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值

其中：

相关的导数性质：

关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值

tanh

tanh

⁡

(

x

)

=

e

x

−

e

−

x

e

x

+

e

−

x

tanh(x) = frac{e^x – e^{-x}}{e^x + e^{-x}}

tanh(x)=ex+e−xex−e−x​

值域: 【-1,1】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 0]
关键点[0,0]处的导数是 1

相关导数：

d

d

x

tanh

⁡

(

x

)

=

1

−

tanh

⁡

2

(

x

)

frac{d}{dx}tanh(x) = 1 – tanh^2(x)

dxd​tanh(x)=1−tanh2(x)
关键点[0,0]处的导数是 1

ReLu(x)

这个很简单

m

a

x

(

0

,

x

)

max(0,x)

max(0,x)

Leaky-Relu

m

a

x

(

α

∗

x

,

x

)

max(alpha * x, x)

max(α∗x,x)

当

α

=

0.1

alpha = 0.1

α=0.1时：

ELU

ELU是结合了sigmoid的左侧软饱和性和ReLU的右侧无饱和性而提出的一种新的激活函数。从上面图中不难看到这一特点。右侧线性部分使得ELU可以缓解梯度消失问题，而左侧软饱和性能让ELU对输入变化或噪声更鲁棒。而且ELU的输出均值接近于0，所以没有严重的偏移现象，所以收敛速度更快。但是计算复杂了些

SiLu/ Swish

SiLU（Sigmoid Linear Unit）函数的 LaTeX 表达式是：

S

i

L

U

(

x

)

=

x

⋅

σ

(

x

)

SiLU(x) = x cdot sigma(x)

SiLU(x)=x⋅σ(x)

其中，

σ

(

x

)

sigma(x)

σ(x) 表示 sigmoid 函数，即

σ

(

x

)

=

1

1

+

e

−

x

sigma(x) = frac{1}{1+e^{-x}}

σ(x)=1+e−x1​。

SiLU 函数的值域是

(

−

∞

,

∞

)

(-infty, infty)

(−∞,∞)，因为该函数在输入值

x

x

x 的正负范围内都有输出。

SiLU 函数的导数表达式是：

(

S

i

L

U

(

x

)

)

′

=

σ

(

x

)

+

x

⋅

σ

(

x

)

⋅

(

1

−

σ

(

x

)

)

(SiLU(x))’ = sigma(x) + x cdot sigma(x) cdot (1 – sigma(x))

(SiLU(x))′=σ(x)+x⋅σ(x)⋅(1−σ(x))

这里的导数表达式是基于 SiLU 函数的定义和求导法则计算得出的。

需要注意的是，SiLU 函数是一种较为新型的激活函数，与传统的 sigmoid 和 ReLU 函数相比，它在某些任务上可能具有更好的性能表现。

相对于ReLU函数，SiLU函数在接近零时具有更平滑的曲线，并且由于其使用了sigmoid函数，可以使网络的输出范围在0和1之间。这使得SiLU在一些应用中比ReLU表现更好，例如在语音识别中使用SiLU比ReLU可以取得更好的效果。

导数：

Mish

Mish激活函数的LaTeX表达式是：

M

i

s

h

(

x

)

=

x

⋅

tanh

⁡

(

ln

⁡

(

1

+

e

x

)

)

Mish(x) = x cdot tanh(ln(1 + e^x))

Mish(x)=x⋅tanh(ln(1+ex))

Mish激活函数的值域是

(

−

∞

,

∞

)

(-infty, infty)

(−∞,∞)，与SiLU函数类似，它在输入值

x

x

x的正负范围内都有输出。

关于Mish激活函数的导数，其LaTeX表达式相对复杂。根据导数的定义和链式法则，我们可以推导出：

(

M

i

s

h

(

x

)

)

′

=

tanh

⁡

(

ln

⁡

(

1

+

e

x

)

)

+

4

e

x

(

1

+

e

x

)

2

(Mish(x))’ = tanh(ln(1 + e^x)) + frac{4e^x}{(1 + e^x)^2}

(Mish(x))′=tanh(ln(1+ex))+(1+ex)24ex​

需要注意的是，Mish激活函数是一种相对较新的激活函数，被提出用于改善神经网络的性能。它具有一些有趣的特性，例如非单调性和自门控性质，这使得它在某些任务上可能具有更好的性能表现。与SiLU相比，Mish在一些实验中被证明能够取得更好的结果。

导数图：

引用原始论文，Mish 是“通过系统分析和实验发现并使 Swish 更加有效”。 就目前来说Mish可能是
最好的激活函数，但请原始论文仅在计算机视觉任务上对其进行了测试。

伽玛函数

beta函数

Ref

huaxiaozhuan