Double Descent — это феномен машинного обучения, при котором тестовая ошибка может сначала уменьшаться, затем увеличиваться около точки, где емкость модели соответствует обучающим данным, а затем снова уменьшаться по мере того, как емкость становится очень большой. Он ставит под сомнение классическое ожидание, что увеличение сложности модели после начала переобучения монотонно ухудшает обобщение.
A phenomenon in statistics and machine learning where a model with a small number of parameters and a model with an extremely large number of parameters have a small test error, but a model whose number of parameters is about the same as the number of data points used to train the model will have a large error. This phenomenon has been considered surprising, as it contradicts assumptions about overfitting in classical machine learning.