Двунаправленная языковая модель оценивает или представляет текст, используя как предшествующий, так и последующий контекст вокруг целевого токена. Этот подход обеспечивает более сильное контекстное понимание, чем модели, которые опираются только на более ранний текст, особенно для задач с маскированными словами, классификацией и семантической интерпретацией.
A language model that determines the probability that a given token is present at a given location in an excerpt of text based on the preceding and following text.