ai_learning/modules/16_mlops_monitoring/assignments/01_tracking.md

2.2 KiB
Raw Permalink Blame History

Учёт экспериментов

Цель

Подключить MLflow или аналог и зарегистрировать серию запусков.

Теория перед выполнением

Что сделать

  1. Зафиксировать baseline и протокол сравнения запусков.
  2. Подключить tracker и логировать параметры, метрики, commit и ID данных.
  3. Сохранить preprocessing, модель, signature и evaluation report как artifacts.
  4. Провести серию сопоставимых запусков и объяснить выбор кандидата.
  5. Зарегистрировать выбранный artifact без повторной сериализации.
  6. Добавить ссылки на запуски и выводы в отчёт.

Результат

Параметры, метрики, artifacts и выбранная модель.

Решение разместите рядом в solution/. Не коммитьте большие данные, веса или секреты.

Критерии приёмки

  • Каждый результат связан с кодом/данными; выбор лучшей модели объяснён.
  • Код читаем, разбит на функции и запускается по инструкции.
  • Выводы подтверждаются измерениями и не выходят за пределы эксперимента.

Вопросы для самопроверки

  • Можно ли по run_id восстановить код, данные, конфиг и среду?
  • Registry ссылается на тот же artifact, который прошёл оценку?
  • Какие данные нельзя отправлять в tracker?
  • Почему лучший запуск не обязательно достоин алиаса champion?