Denoising — это подход к обучению или предобработке, при котором шум добавляется к данным или уже присутствует в них, а модель учится восстанавливать более чистый сигнал. Он используется в самообучении, masked language modeling, диффузионных системах и задачах восстановления данных.
A common approach to self-supervised learning in which: 1. Noise is artificially added to the dataset. 2. The model tries to remove the noise. Denoising enables learning from unlabeled examples. The original dataset serves as the target or label and the noisy data as the input. Some masked language models use denoising as follows: 1. Noise is artificially added to an unlabeled sentence by masking some of the tokens. 2. The model tries to predict the original tokens.