3.0.激活函数

Table of Content

sigmoid

0 ~ 1 曲线,均值和零值为

tanh

-1 ~ 1 曲线,均值和零值为

image.png

ReLU

LeakyReLU

可防止 ReLU 的梯度爆炸。

Misplaced &= cases( x & "if" x >= 0, a x & "if" x <= 0)