3.0.激活函数

sigmoid

$$1 / (1 + e^(-x))$$ 0 ~ 1 曲线，均值和零值为 $1 / 2$

tanh

$$sinh(x) / cosh(x) = (e^x - e^(-x)) / (e^x + e^(-x))$$ -1 ~ 1 曲线，均值和零值为 $0$

ReLU

LeakyReLU

可防止 ReLU 的梯度爆炸。

$$ = cases( x & “if” x >= 0, a x & “if” x <= 0) $$