Однонаправленная языковая модель предсказывает токены, используя только токены, которые находятся перед целевой позицией. Это отличается от bidirectional models, которые могут использовать как предшествующий, так и последующий контекст.
A language model that bases its probabilities only on the
tokens appearing before , not after , the target token(s).
Contrast with bidirectional language model.