Deep Learning (5) - Batch Normalization
在机器学习建模时，通常会对输入参数X进行Normalize，即  - Batch Normalization/SVG5f2467cdcd8ab81fb029296cf7a0e5dd)
 - Batch Normalization/SVG3d38c6206aa65f66da6b8284420e3004)
 - Batch Normalization/SVG5c65a27acd5d58fd5a43a4a66d61e466)
 - Batch Normalization/SVG511e32e6033a269e9e9e3a97a55d4763)
Normalize的好处是可以加速收敛。看下图，当正规化后，Contour从椭圆变成圆，不管起始点落在圆的哪里，最后都可以收敛到中心最优点。而左图，可能有一些随机噪声，导致方向偏离，就会导致最终结果发散。所以需要很小心的选择learning rate。
 - Batch Normalization/1535670653390.png)
Implement
Batch Norm要做的就是对神经网络的每一层的中间变量 - Batch Normalization/SVG25807cde2124d2bda3e7737be93af525)
- 参数
，
控制着Z的均值和方差，它们和W，b一样也是模型求解的参数(learnable parameter)。
 - Batch Normalization/SVGbb0dc716c3f1a8f2160eecf3020ce3fc)
 - Batch Normalization/SVGb5300f472971175b985979af7c327776)
 - Batch Normalization/SVG58ce601b7ea844f9589b49e4cbfa95ea)
 - Batch Normalization/SVG2e406e307b1e0de7e10fbfcdb65a67fa)
为什么要有
?
正规化成均值为0，方差为1时，当采用类似sigmoid的激活函数的时候，则激活函数输出，或者说该节点输出均集中在中心线性区域，则该节点退化成线性激活函数，所有的节点退化成线性节点，神经网络就退化成了logistic regression。为了保持非线性，为了保持随机性，要通过
 - Batch Normalization/1535683830394.png)
Batch Norm in Neural Network
for 1…num of Mini-batches
compute forward path on  - Batch Normalization/SVG96fc5ad87a0cc03c4951792c1fdaf80f)
In each hidden layer, use BN to repair  - Batch Normalization/SVG10796b75381370fbacbe25657ec32b0a)
Use backprop to compute  - Batch Normalization/SVG7c1f50fe91a2aac9caa710a5c18b704d)
Update params
 - Batch Normalization/SVGffb67389d1189d8a1fedb67de702e055)
 - Batch Normalization/SVG2bd91f53005187935965952ef0c6d5ee)
 - Batch Normalization/SVGfb70907ad0390744cf1e1c371bf38629)
Work with momentum, RMSprop, Adam
这里注意省略了 - Batch Normalization/SVGd261004c32a3809d8734c4588ac48d10)
Batch Norm at test time
在测试阶段，对test set本身不做Batch Norm，因为test set和training set的分布可能不同。但是在做正向传播求预测输出的时候，因为各个hidden unit的参数都是根据Batch Norm迭代出来的，所以折中的办法就是，采用exponential weighted average来记录training set的 - Batch Normalization/SVG07617f9d8fe48b4a7b3f523d6730eef0)
 - Batch Normalization/SVGe6718aa5499c31af3ff15c3c594a7854)
- 针对每个mini batch，每一层记录
和
- 使用exponential weighted average across mini batches，更新
- 结束training的时候，记录
 - Batch Normalization/SVGa8ca499d4026578a4a1e9fcc4f31daef)