1.9 KiB
1.9 KiB
Модуль 04. Оптимизация и регуляризация
Плановый срок: недели 8–9.
Цели
- выводить и реализовывать градиенты
- понимать batch, stochastic и mini-batch gradient descent
- выбирать learning rate, оптимизатор и регуляризацию
Предварительные знания
Нужны векторы и матрицы из модуля 02, ожидание из модуля 03 и базовое понимание производной.
Теория
- Производные, градиент и поверхности потерь
- GD, SGD, momentum, RMSProp и Adam
- L1, L2, Elastic Net, early stopping и bias–variance
Термины модуля: notes/glossary.md.
Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно уметь связать с кодом и наблюдаемым поведением модели.
Задания
assignments/01_gradient_descent.md— GD и SGD с нуляassignments/02_logistic_from_scratch.md— Логистическая регрессия с нуляassignments/03_regularization.md— L1 против L2
Завершение модуля
Модуль завершён, когда все задания удовлетворяют критериям приёмки, вы можете объяснить основные решения без ноутбука и получили review.