Holdout data — данные, намеренно исключенные из обучения, чтобы использовать их для оценки качества модели. Валидационные и тестовые наборы данных являются распространенными формами holdout data. Они помогают оценить, насколько хорошо модель обобщает за пределами примеров, на которых она обучалась.
Examples intentionally not used ("held out") during training. The validation dataset and test dataset are examples of holdout data. Holdout data helps evaluate your model's ability to generalize to data other than the data it was trained on. The loss on the holdout set provides a better estimate of the loss on an unseen dataset than does the loss on the training set.
A side-by-side comparison of Test Set and Holdout Data. Understand how a reserved test set relates to the broader category of data excluded from training for validation or evaluation.
A side-by-side comparison of Cross-validation and Holdout Data. Understand how repeated split-based evaluation differs from reserving data outside training for evaluation.