Fast decay — это стратегия обучения, которая быстро уменьшает learning rate во время обучения модели. Для больших языковых моделей она может помогать снижать overfitting и улучшать generalization после начального обучения.
A training technique to improve the performance of LLMs. Fast decay involves rapidly decreasing the learning rate during training. This strategy helps prevent the model from overfitting to the training data, and improves generalization.