Маскированная языковая модель — языковая модель, обученная предсказывать пропущенные или замаскированные токены внутри последовательности. Поскольку она может использовать окружающий контекст по обе стороны от замаскированного токена, этот подход обычно связан с bidirectional language models.
A language model that predicts the probability of candidate tokens to fill in blanks in a sequence. For example, a masked language model can calculate probabilities for candidate word(s) to replace the underline in the following sentence: The ____ in the hat came back. The literature typically uses the string "MASK" instead of an underline. For example: The "MASK" in the hat came back. Most modern masked language models are bidirectional.