Also known as: Auto regressive Model
Авторегрессионная модель генерирует или прогнозирует каждый выходной элемент, опираясь на собственные предыдущие выходы или более ранние элементы последовательности. В языковом моделировании такая модель предсказывает следующий токен на основе предшествующих токенов, а затем повторяет этот процесс пошагово. Многие крупные языковые модели на базе Transformer используют этот подход для генерации текста.
A model that infers a prediction based on its own previous predictions. For example, auto-regressive language models predict the next token based on the previously predicted tokens. All Transformer-based large language models are auto-regressive. In contrast, GAN-based image models are usually not auto-regressive since they generate an image in a single forward-pass and not iteratively in steps. However, certain image generation models are auto-regressive because they generate an image in steps.