40 lines
2.5 KiB
Markdown
40 lines
2.5 KiB
Markdown
# Эксперименты и реализация
|
||
|
||
## Цель
|
||
|
||
Построить воспроизводимый pipeline и провести минимум три осмысленных эксперимента.
|
||
|
||
## Теория перед выполнением
|
||
|
||
- [Воспроизводимое исследование и error analysis](../notes/02_reproducible_research_error_analysis.md)
|
||
- [Tracking, artifacts и lineage](../../16_mlops_monitoring/notes/01_artifacts_lineage_versioning.md)
|
||
|
||
## Что сделать
|
||
|
||
1. Реализовать воспроизводимый pipeline и честный baseline из proposal.
|
||
2. Зафиксировать snapshot/split, конфиг, seed, зависимости и tracking запусков.
|
||
3. Провести минимум три контролируемых эксперимента с заранее записанными гипотезами.
|
||
4. Выполнить error analysis и оценку важных срезов, калибровки и threshold.
|
||
5. Выбрать модель по заданным критериям, сохранить artifacts и отрицательные результаты.
|
||
6. Оформить выводы и ограничения в [отчёте](../../../common/REPORT_TEMPLATE.md).
|
||
|
||
## Результат
|
||
|
||
Код, tracking, отчёт об ошибках и выбранная модель.
|
||
|
||
Решение разместите рядом в `solution/`. Не коммитьте большие данные,
|
||
веса или секреты.
|
||
|
||
## Критерии приёмки
|
||
|
||
- Есть baseline и честный test; улучшения объяснены; отрицательные результаты сохранены.
|
||
- Код читаем, разбит на функции и запускается по инструкции.
|
||
- Выводы подтверждаются измерениями и не выходят за пределы эксперимента.
|
||
|
||
## Вопросы для самопроверки
|
||
|
||
- Изменялся ли в каждом эксперименте один контролируемый фактор?
|
||
- Открывался ли test только после заморозки решения?
|
||
- Какие категории ошибок дают наибольший ущерб и следующий эксперимент?
|
||
- Можно ли воспроизвести выбранный artifact по `run_id`?
|