Батчевая нормализация — техника нейронных сетей, нормализующая активации внутри обучающих батчей для повышения стабильности и эффективности обучения. Корректируя и масштабируя промежуточные значения, она может снижать чувствительность к инициализации, поддерживать более высокие скорости обучения и помогать глубоким сетям сходиться надежнее.
A technique for improving the performance and stability of artificial neural networks. It is a technique to provide any layer in a neural network with inputs that are zero mean/unit variance. Batch normalization was introduced in a 2015 paper. It is used to normalize the input layer by adjusting and scaling the activations.
Normalizing the input or output of the activation functions in a hidden layer. Batch normalization can provide the following benefits: - Make neural networks more stable by protecting against outlier weights. - Enable higher learning rates, which can speed training. - Reduce overfitting.