Итерация — один повторяющийся шаг или цикл в вычислительном, обучающем или оптимизационном процессе. В машинном обучении она может означать один цикл обновления алгоритма, один проход через цикл или один этап уточнения модели или системы.
A single update of a model's parameters---the model's weights and biases---during training. The batch size determines how many examples the model processes in a single iteration. For instance, if the batch size is 20, then the model processes 20 examples before adjusting the parameters. When training a neural network, a single iteration involves the following two passes: 1. A forward pass to evaluate loss on a single batch. 2. A backward pass (backpropagation) to adjust the model's parameters based on the loss and the learning rate. See Gradient descent in Machine Learning Crash Course for more information.