Сравнение обучения с учителем и полуобучения. Разберите, чем обучение на размеченных примерах отличается от совместного использования размеченных и неразмеченных данных.
Краткий вердикт: Используйте обучение с учителем, когда доступны размеченные пары «вход — выход»; используйте полуобучение, когда меток мало, но неразмеченные данные могут улучшить обучение.
Supervised Learning describes machine learning approach in which a model learns from examples that pair inputs with known target outputs or labels.
Контекст: Наиболее уместно, когда для задачи доступны надёжные размеченные примеры.
Semi-Supervised Learning summarizes machine learning approach that uses both labeled and unlabeled data during training.
Контекст: Наиболее уместно, когда небольшой размеченный набор данных можно объединить с большим объёмом неразмеченных данных для повышения качества.
| Аспект | Supervised Learning | Semi-Supervised Learning |
|---|---|---|
| Цель | Обучение с учителем изучает соответствия между входами и известными метками или целевыми выходами. | Полуобучение совместно использует размеченные и неразмеченные данные для улучшения представлений, классификации или прогнозирования. |
| Когда использовать | Используйте его, когда для задачи доступно достаточно надёжных размеченных примеров. | Используйте его, когда метки дороги или ограничены, но доступны большие объёмы релевантных неразмеченных данных. |
| Требования к данным | Требуются размеченные примеры, связывающие входы с целевыми выходами или метками. | Требуются некоторые размеченные примеры, а также неразмеченные данные, которые помогают модели изучать полезную структуру. |
| Компромиссы | Его может быть проще валидировать, потому что метки задают целевую функцию обучения, но разметка может быть дорогой. | Оно может снизить нагрузку на разметку, но вводит дополнительные предположения о качестве и репрезентативности неразмеченных данных. |
| Распространённая ошибка | Распространённая ошибка — игнорировать качество меток и считать их истиной без проверки. | Распространённая ошибка — предполагать, что любые неразмеченные данные улучшат качество. |
| Значение для governance | Governance должен фокусироваться на происхождении меток, качестве разметки, определении задачи и валидации качества. | Governance также должен оценивать источники неразмеченных данных, их репрезентативность и влияние неразмеченных данных на поведение модели. |
На практике полуобучение привлекательно, когда разметка стоит дорого, но это не обходной путь вокруг data governance. Неразмеченные данные всё равно формируют модель и должны рассматриваться как часть доказательной базы.
Предполагать, что обучение с учителем надёжно только потому, что метки существуют.
Использовать неразмеченные данные в полуобучении без проверки репрезентативности.
Не документировать, как были выбраны размеченные и неразмеченные данные.
Сравнивать модели без учёта разных источников данных.
Используйте обучение с учителем, когда процесс обучения опирается на размеченные примеры, определяющие ожидаемые выходы. Оно подходит для классификации, регрессии и прогнозирования при наличии надёжных целевых меток.
Используйте полуобучение, когда размеченных данных мало, но неразмеченные данные могут помочь модели изучить полезные представления или улучшить прогнозы. Такой подход должен подтверждаться доказательствами того, что неразмеченные данные релевантны и не наносят вреда.
Для обоих подходов важны управление данными и доказательства валидации. В рамках контролей в стиле ISO/IEC 42001 и NIST AI RMF команды должны документировать качество меток, происхождение данных, ограничения наборов данных и доказательства качества.
Обучение с учителем использует размеченные примеры с известными выходами. Полуобучение использует во время обучения и размеченные, и неразмеченные данные.
Оно полезно, когда размеченные примеры дороги или ограничены, но доступны релевантные неразмеченные данные. Неразмеченные данные могут помочь улучшить представления, классификацию или прогнозирование.
Нет. Оно всё равно использует размеченные данные, но объединяет их с неразмеченными. Размеченные примеры помогают направлять процесс обучения.
No recently viewed comparisons yet.