Also known as: Auto regressive Model
Un modèle autorégressif génère ou prédit chaque sortie en se conditionnant sur ses propres sorties précédentes ou sur les éléments antérieurs d’une séquence. En modélisation du langage, un modèle autorégressif prédit le jeton suivant à partir des jetons précédents, puis répète le processus étape par étape. De nombreux grands modèles de langage fondés sur les transformers utilisent cette approche pour la génération de texte.
A model that infers a prediction based on its own previous predictions. For example, auto-regressive language models predict the next token based on the previously predicted tokens. All Transformer-based large language models are auto-regressive. In contrast, GAN-based image models are usually not auto-regressive since they generate an image in a single forward-pass and not iteratively in steps. However, certain image generation models are auto-regressive because they generate an image in steps.