2.3 KiB
2.3 KiB
Мониторинг сдвига
Цель
Смоделировать data drift и построить мониторинг признаков/предсказаний.
Теория перед выполнением
Что сделать
- Выбрать reference/current окна и обосновать их длительность.
- Смоделировать известный сдвиг минимум одного числового и одного категориального признака.
- Рассчитать подходящие drift-метрики и контролировать объём/missingness.
- Построить dashboard или отчёт по данным, predictions и доступным labels.
- Описать alert policy с порогом, несколькими окнами и действием по runbook.
- Проверить ложные тревоги и заполнить отчёт.
Результат
Dashboard или отчёт, статистические тесты и alert policy.
Решение разместите рядом в solution/. Не коммитьте большие данные,
веса или секреты.
Критерии приёмки
- Есть baseline window; пороги учитывают объём данных и ложные тревоги.
- Код читаем, разбит на функции и запускается по инструкции.
- Выводы подтверждаются измерениями и не выходят за пределы эксперимента.
Вопросы для самопроверки
- Почему обнаруженный data drift не доказывает падение качества?
- Как сезонность и размер окна влияют на сигнал?
- Что можно мониторить до появления labels?
- Как alert приводит к диагностике, а не к слепому переобучению?