37 lines
1.9 KiB
Markdown
37 lines
1.9 KiB
Markdown
# Модуль 04. Оптимизация и регуляризация
|
||
|
||
Плановый срок: **недели 8–9**.
|
||
|
||
## Цели
|
||
|
||
- выводить и реализовывать градиенты
|
||
- понимать batch, stochastic и mini-batch gradient descent
|
||
- выбирать learning rate, оптимизатор и регуляризацию
|
||
|
||
## Предварительные знания
|
||
|
||
Нужны векторы и матрицы из модуля 02, ожидание из модуля 03 и базовое понимание производной.
|
||
|
||
## Теория
|
||
|
||
1. [Производные, градиент и поверхности потерь](notes/01_derivatives_and_loss_surfaces.md)
|
||
2. [GD, SGD, momentum, RMSProp и Adam](notes/02_optimizers.md)
|
||
3. [L1, L2, Elastic Net, early stopping и bias–variance](notes/03_regularization_bias_variance.md)
|
||
|
||
Термины модуля: [`notes/glossary.md`](notes/glossary.md).
|
||
|
||
Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
|
||
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
|
||
уметь связать с кодом и наблюдаемым поведением модели.
|
||
|
||
## Задания
|
||
|
||
- [`assignments/01_gradient_descent.md`](assignments/01_gradient_descent.md) — GD и SGD с нуля
|
||
- [`assignments/02_logistic_from_scratch.md`](assignments/02_logistic_from_scratch.md) — Логистическая регрессия с нуля
|
||
- [`assignments/03_regularization.md`](assignments/03_regularization.md) — L1 против L2
|
||
|
||
## Завершение модуля
|
||
|
||
Модуль завершён, когда все задания удовлетворяют критериям приёмки,
|
||
вы можете объяснить основные решения без ноутбука и получили review.
|