AdaGrad — адаптивный алгоритм оптимизации на основе градиента, который отдельно корректирует скорости обучения для отдельных параметров модели. Он повышает чувствительность к истории обновлений конкретных параметров, что может помогать при разреженных признаках, но со временем может существенно снижать скорости обучения.
A sophisticated gradient descent algorithm that rescales the gradients of each parameter, effectively giving each parameter an independent learning rate. For a full explanation, see Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.