Also known as: Multi head Self attention · Multi-head Self Attention
Multi-head self-attention — механизм attention, который параллельно вычисляет несколько attention patterns по одной и той же input sequence. Каждая head может захватывать разные relationships между tokens, а объединённый output помогает transformer models представлять сложные context dependencies.
An extension of self-attention that applies the self-attention mechanism multiple times for each position in the input sequence. Transformers introduced multi-head self-attention.