Layer Norm

Embedding (b, l, d):

• LN: 让每个 (d,) 内部标准正态分布. mean = emb.mean(dim=-1, keepdim=True) [b, l, 1]
• BN: 刚好和 LN 相反，(b, l, d) 的 (b, l) 取 (- mean) / std
• RMSNorm: 让每个 (d,) 特征落到单位球上.

图像 (b, c, h, w)

• LN: 一个 sample 的 (c, h, w) 归一化，形状不变.
• BN: 一个 channel 内归一化 (b, h, w)