2.3 KiB
2.3 KiB
Эксперимент с активациями
Теория перед выполнением
Прочитайте активации, инициализацию и регуляризацию и повторите исчезающие градиенты.
Цель
Сравнить sigmoid, tanh, ReLU, LeakyReLU и GELU в одинаковой MLP.
Что сделать
- Сформулировать ожидаемый результат до запуска эксперимента.
- Реализовать простой baseline.
- Реализовать основной метод самостоятельно настолько, насколько требует задание.
- Добавить автоматические проверки ключевых вычислений.
- Провести эксперимент, сохранить метрики и примеры ошибок.
- Заполнить отчёт по
common/REPORT_TEMPLATE.md.
Результат
Графики активаций/градиентов, скорость сходимости и выводы.
Решение разместите рядом в solution/. Не коммитьте большие данные,
веса или секреты.
Критерии приёмки
- Выбор учитывает насыщение, dead ReLU и вычислительную стоимость.
- Код читаем, разбит на функции и запускается по инструкции.
- Выводы подтверждаются измерениями и не выходят за пределы эксперимента.
Вопросы для самопроверки
- Почему выбран именно этот метод и какой baseline он должен превзойти?
- Где здесь возможна утечка данных или некорректная оценка?
- Как изменится результат при других данных или ограничениях?
- Какую ошибку модели вы считаете наиболее важной и почему?