Also known as: SGD
SGD (Stochastic Gradient Descent) — метод градиентного спуска, который обновляет параметры модели, используя один случайно выбранный обучающий пример или очень малую выборку за раз. Он вычислительно эффективен и вносит шум, который может помогать оптимизации, но может требовать тщательного управления learning rate.
A gradient descent algorithm in which the batch size is one. In other words, SGD trains on a single example chosen uniformly at random from a training set. See Linear regression: Hyperparameters in Machine Learning Crash Course for more information.