sigmoid 11+𝑒−𝑥 0 ~ 1 曲线，均值和零值为 12 tanh sinh(𝑥)cosh(𝑥)=𝑒𝑥−𝑒−𝑥𝑒𝑥+𝑒−𝑥 -1 ~ 1 曲线，均值和零值为 0 ReLU LeakyReLU 可防止 ReLU 的梯度爆炸。 ={𝑥if𝑥≥0𝑎𝑥if𝑥≤0
