深度学习中优化操作：
- dropout
- l1, l2正则化
- momentum
- normalization
1、为什么Normalization？
深度神经网络模型的训练为什么会很困难？其中一个重要的原因是，深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训好模型，我们需要非常谨慎地去设定学习率、初始化权重、以及尽可能细致的参数更新策略。
对于每一层网络得到输出向量的分布是不太有规律的，将这些没有规律的的输出结果放入激励层，会使得许多样本？因为偏离0坐标太远，而使得这些样本的值很大（等于1）或者很小（等于0），从而导致在反向传播时梯度消失。
我们在训练的时候希望每个batch在同一层网络下的输出结果是独立同分布的，这样能网络的泛化性就会比较强。
2、方式
1.Batch Normalization
BN的做法很简单，就是在输出结果在送到激励层之前，对输出结果做一次标准化。
前三步分别就是求均值与方差，并对其进行中心化，normalize中分母中的$\epsilon$,是为了避免除以0溢出。经过这三步，输出结果已经变成均值为$\mu _{b}$, 方差是$\sigma^{2}_{b}$的分布了。
最后一步非常重要。γ和β是可学习的，目的是让网络能够自己调节分布。我们获得一个关于y轴对称的分布真的是最符合神经网络训练的吗？没有任何理由能证明这点。事实上，γ和β为输出的线性调整参数，可以让分布曲线压缩或延长一点，左移或右移一点。由于γ和β是可训练的，那么意味着神经网络会随着训练过程自己挑选一个最适合的分布。如果我们固执地不用γ和β会怎么样呢？那势必会把压力转移到特征提取层，虽然最后结果依然可观，但训练压力会很大。你想想，一边只需要训练两个数，另一边需要训练特征提取层来符合最优分布就是关于y轴的对称曲线。前者自然训练成本更低。
--------------------- 作者：木盏 来源：CSDN 原文：https://blog.csdn.net/leviopku/article/details/83109422 版权声明：本文为博主原创文章，转载请附上博文链接！
反向传播：
在反向传播过程中，$\frac{\partial L}{\partial \boldsymbol{y}}$由上一步已经算出，是已知条件。
先求：$\frac{\partial f}{\partial \gamma }, \frac{\partial f}{\partial \hat{x_{i}}},\frac{\partial f}{\partial \beta } $
再根据 x标准化，求$\frac{\partial f}{\partial \mu }, \frac{\partial f}{\partial \sigma ^{2}},\frac{\partial f}{\partial x_{i} } $
$\frac{\partial f}{\partial \mu} = \sum_{i = 1}^{m} \frac{\partial f}{\partial \hat{x}_{i}} \frac{\partial \hat{x}_{i}}{\partial \mu} + \frac{\partial f}{\partial \sigma^{2} } \frac{\partial \sigma^{2}}{\partial \mu}$
缺点：
1.对batchsize大小比较敏感，如果batchsize太不小计算的均值和方差不足以代表整体的数据分布
2.在RNN领域效果不是很好。为什么
BN是以每一个batch为基准进行计算的，也就是 μ.shape = (1, D), var.shape = (1, D),对于RNN来说，每一个batch中的数据可能不是等长的，即使padding后变成等长，然后在normalize就会引入噪声(padding)
2、Layer Normalization
LN不以batch为单位，而是以一个样本为单位。
u.shape = (N, 1)
var.shape = (N, 1)
反向传播：
python实现：
tf接口
参考：