Ограничение градиента — техника, которая ограничивает значения градиентов во время обучения, чтобы предотвратить чрезмерно большие обновления параметров. Она часто используется для смягчения проблемы взрывающегося градиента в глубоких и рекуррентных нейронных сетях.
A commonly used mechanism to mitigate the exploding gradient problem by artificially limiting (clipping) the maximum value of gradients when using gradient descent to train a model.