# Эксперименты и реализация

## Цель

Построить воспроизводимый pipeline и провести минимум три осмысленных эксперимента.

## Теория перед выполнением

- [Воспроизводимое исследование и error analysis](../notes/02_reproducible_research_error_analysis.md)
- [Tracking, artifacts и lineage](../../16_mlops_monitoring/notes/01_artifacts_lineage_versioning.md)

## Что сделать

1. Реализовать воспроизводимый pipeline и честный baseline из proposal.
2. Зафиксировать snapshot/split, конфиг, seed, зависимости и tracking запусков.
3. Провести минимум три контролируемых эксперимента с заранее записанными гипотезами.
4. Выполнить error analysis и оценку важных срезов, калибровки и threshold.
5. Выбрать модель по заданным критериям, сохранить artifacts и отрицательные результаты.
6. Оформить выводы и ограничения в [отчёте](../../../common/REPORT_TEMPLATE.md).

## Результат

Код, tracking, отчёт об ошибках и выбранная модель.

Решение разместите рядом в `solution/`. Не коммитьте большие данные,
веса или секреты.

## Критерии приёмки

- Есть baseline и честный test; улучшения объяснены; отрицательные результаты сохранены.
- Код читаем, разбит на функции и запускается по инструкции.
- Выводы подтверждаются измерениями и не выходят за пределы эксперимента.

## Вопросы для самопроверки

- Изменялся ли в каждом эксперименте один контролируемый фактор?
- Открывался ли test только после заморозки решения?
- Какие категории ошибок дают наибольший ущерб и следующий эксперимент?
- Можно ли воспроизвести выбранный artifact по `run_id`?