Pipelining — это форма параллелизма модели, которая разбивает обработку модели на последовательные стадии, размещенные на разных устройствах. Она повышает пропускную способность, позволяя разным стадиям одновременно обрабатывать разные батчи.
A form of model parallelism in which a model's processing is divided into consecutive stages and each stage is executed on a different device. While a stage is processing one batch, the preceding stage can work on the next batch. See also staged training.