Also known as: Auto regressive Model
Ein auto-regressives Modell erzeugt oder prognostiziert jede Ausgabe unter der Bedingung eigener früherer Ausgaben oder früherer Elemente einer Sequenz. In der Sprachmodellierung sagt ein auto-regressives Modell das nächste Token auf Grundlage vorheriger Token voraus und wiederholt diesen Prozess schrittweise. Viele Transformer-basierte große Sprachmodelle nutzen diesen Ansatz für die Texterzeugung.
A model that infers a prediction based on its own previous predictions. For example, auto-regressive language models predict the next token based on the previously predicted tokens. All Transformer-based large language models are auto-regressive. In contrast, GAN-based image models are usually not auto-regressive since they generate an image in a single forward-pass and not iteratively in steps. However, certain image generation models are auto-regressive because they generate an image in steps.