Пакетный инференс — процесс генерации прогнозов для нескольких неразмеченных примеров, сгруппированных в батчи. Он обычно используется, когда ответы в реальном времени не требуются, и может повышать пропускную способность за счет параллельного оборудования или плановой обработки.
The process of inferring predictions on multiple unlabeled examples divided into smaller subsets ("batches"). Batch inference can take advantage of the parallelization features of accelerator chips. That is, multiple accelerators can simultaneously infer predictions on different batches of unlabeled examples, dramatically increasing the number of inferences per second. See Production ML systems: Static versus dynamic inference in Machine Learning Crash Course for more information.