Градиентный спуск — метод оптимизации, который итеративно корректирует параметры модели в направлении, уменьшающем функцию потерь. Он использует градиенты, чтобы определить, как должны изменяться веса и смещения во время обучения.
A mathematical technique to minimize loss. Gradient descent iteratively adjusts weights and biases, gradually finding the best combination to minimize loss. Gradient descent is older---much, much older---than machine learning. See the Linear regression: Gradient descent in Machine Learning Crash Course for more information.