Языковая модель — модель, которая оценивает или генерирует последовательности языка. Она изучает статистические или нейронные представления слов, токенов или предложений и может поддерживать такие задачи, как предсказание, генерация, перевод, суммаризация и диалог.
A probabilistic model that manipulates natural language.
A model that estimates the probability of a token or sequence of tokens occurring in a longer sequence of tokens. Though counterintuitive, many models that evaluate text are not language models . For example, text classification models and sentiment analysis models are not language models. See What is a language model? in Machine Learning Crash Course for more information.