2.5 KiB
2.5 KiB
Эксперименты и реализация
Цель
Построить воспроизводимый pipeline и провести минимум три осмысленных эксперимента.
Теория перед выполнением
Что сделать
- Реализовать воспроизводимый pipeline и честный baseline из proposal.
- Зафиксировать snapshot/split, конфиг, seed, зависимости и tracking запусков.
- Провести минимум три контролируемых эксперимента с заранее записанными гипотезами.
- Выполнить error analysis и оценку важных срезов, калибровки и threshold.
- Выбрать модель по заданным критериям, сохранить artifacts и отрицательные результаты.
- Оформить выводы и ограничения в отчёте.
Результат
Код, tracking, отчёт об ошибках и выбранная модель.
Решение разместите рядом в solution/. Не коммитьте большие данные,
веса или секреты.
Критерии приёмки
- Есть baseline и честный test; улучшения объяснены; отрицательные результаты сохранены.
- Код читаем, разбит на функции и запускается по инструкции.
- Выводы подтверждаются измерениями и не выходят за пределы эксперимента.
Вопросы для самопроверки
- Изменялся ли в каждом эксперименте один контролируемый фактор?
- Открывался ли test только после заморозки решения?
- Какие категории ошибок дают наибольший ущерб и следующий эксперимент?
- Можно ли воспроизвести выбранный artifact по
run_id?