TensorFlow Serving — производственная serving-система для развёртывания обученных моделей машинного обучения. Она предоставляет инфраструктуру для предоставления моделей приложениям и надёжной обработки inference requests.
A platform to deploy trained models in production.