Also known as: Mini batch Stochastic Gradient Descent
Mini-batch стохастический градиентный спуск — метод оптимизации, обновляющий параметры модели с использованием градиентов, вычисленных на небольших batch обучающих примеров. Он широко используется, поскольку вычислительно эффективнее full-batch gradient descent и обычно стабильнее, чем обновление по одному примеру за раз.
A gradient descent algorithm that uses mini-batches. In other words, mini-batch stochastic gradient descent estimates the gradient based on a small subset of the training data. Regular stochastic gradient descent uses a mini-batch of size 1.