Transformer architecture — это дизайн нейронной сети, построенный вокруг слоев attention, feed-forward layers и позиционной информации, а не рекуррентности или свертки как основного механизма обработки последовательностей. Он обеспечивает эффективное параллельное обучение и стал базовой архитектурой для больших языковых моделей и других foundation models.
Transformer architecture is a type of deep learning model designed to process sequences of data, eg text, by focusing on the relationship between different parts of the input. The transformers are fast, flexible, easily scalable and are highly efficient in understanding context, making them the foundation for generative systems.