Attention ist ein Mechanismus neuronaler Netze, der Teilen einer Eingabe unterschiedliche Wichtigkeitsgrade zuweist, wenn eine Ausgabe erzeugt wird. Er hilft Modellen, sich auf relevante Token, Merkmale oder Regionen zu konzentrieren, und ist ein zentraler Baustein von Transformer-Architekturen. Attention kann die Belastung verringern, alle Eingabeinformationen gleich zu repräsentieren, indem Kontext entsprechend der Aufgabenrelevanz gewichtet wird.
A mechanism used in a neural network that indicates the importance of a particular word or part of a word. Attention compresses the amount of information a model needs to predict the next token/word. A typical attention mechanism might consist of a weighted sum over a set of inputs, where the weight for each input is computed by another part of the neural network. Refer also to self-attention and multi-head self-attention, which are the building blocks of Transformers. See LLMs: What's a large language model? in Machine Learning Crash Course for more information about self-attention.