ai_learning/modules/16_mlops_monitoring/assignments/03_retraining.md

2.2 KiB
Raw Permalink Blame History

Политика переобучения

Цель

Спроектировать pipeline с проверками данных, challenger и rollback.

Теория перед выполнением

Что сделать

  1. Определить триггеры CT, cooldown, минимальный объём новых labels и бюджет.
  2. Нарисовать архитектуру пути data -> train -> evaluate -> register -> rollout.
  3. Написать псевдокод или конфиг orchestration с идемпотентными стадиями.
  4. Задать data-, quality-, slice-, security- и load-gates для challenger.
  5. Описать approvals, shadow/canary, остановку rollout и проверенный rollback.
  6. Оформить решения и допущения в отчёте.

Результат

Диаграмма, псевдокод/конфиг и список защитных проверок.

Решение разместите рядом в solution/. Не коммитьте большие данные, веса или секреты.

Критерии приёмки

  • Переобучение не выкатывается автоматически без quality gates.
  • Архитектура и псевдокод/конфиг однозначно показывают входы, состояния и владельцев стадий.
  • Выводы подтверждаются измерениями и не выходят за пределы эксперимента.

Вопросы для самопроверки

  • Что мешает training loop при постоянном drift?
  • Какие gates блокируют обучение, регистрацию и rollout?
  • Как delayed labels влияют на promotion и rollback?
  • Можно ли восстановить предыдущую совместимую релизную единицу?