Дистилляция знаний — метод сжатия и переноса модели, при котором меньшая или более простая модель учится воспроизводить поведение более крупной или сложной модели. Она используется для повышения эффективности, снижения стоимости развертывания или переноса возможностей при сохранении полезной производительности.
The process of transferring knowledge from a large machine learning model to a smaller one.