Vanishing gradient problem возникает, когда gradients в ранних слоях глубокой нейронной сети становятся очень малыми во время обучения. В результате эти слои обучаются медленно или вовсе не обучаются, что затрудняет обучение глубоких или recurrent networks.
The tendency for the gradients of early hidden layers of some deep neural networks to become surprisingly flat (low). Increasingly lower gradients result in increasingly smaller changes to the weights on nodes in a deep neural network, leading to little or no learning. Models suffering from the vanishing gradient problem become difficult or impossible to train. Long Short-Term Memory cells address this issue. Compare to exploding gradient problem.