Проблема взрыва градиента возникает, когда градиенты в нейронной сети становятся чрезмерно большими во время обучения. Это может вызывать нестабильные обновления весов и делать модель трудной или невозможной для обучения; gradient clipping часто используется как мера смягчения.
The tendency for gradients in deep neural networks (especially recurrent neural networks) to become surprisingly steep (high). Steep gradients often cause very large updates to the weights of each node in a deep neural network. Models suffering from the exploding gradient problem become difficult or impossible to train. Gradient clipping can mitigate this problem. Compare to vanishing gradient problem.