3.0.激活函数 sigmoid $$1 / (1 + e^(-x))$$ 0 ~ 1 曲线,均值和零值为 $1 / 2$ tanh $$sinh(x) / cosh(x) = (e^x - e^(-x)) / (e^x + e^(-x))$$ -1 ~ 1 曲线,均值和零值为 $0$ ReLU LeakyReLU 可防止 ReLU 的梯度爆炸。 $$ = cases( x & "if" x >= 0, a x & "if" x <= 0) $$