# Модуль 04. Оптимизация и регуляризация

Плановый срок: **недели 8–9**.

## Цели

- выводить и реализовывать градиенты
- понимать batch, stochastic и mini-batch gradient descent
- выбирать learning rate, оптимизатор и регуляризацию

## Предварительные знания

Нужны векторы и матрицы из модуля 02, ожидание из модуля 03 и базовое понимание производной.

## Теория

1. [Производные, градиент и поверхности потерь](notes/01_derivatives_and_loss_surfaces.md)
2. [GD, SGD, momentum, RMSProp и Adam](notes/02_optimizers.md)
3. [L1, L2, Elastic Net, early stopping и bias–variance](notes/03_regularization_bias_variance.md)

Термины модуля: [`notes/glossary.md`](notes/glossary.md).

Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
уметь связать с кодом и наблюдаемым поведением модели.

## Задания

- [`assignments/01_gradient_descent.md`](assignments/01_gradient_descent.md) — GD и SGD с нуля
- [`assignments/02_logistic_from_scratch.md`](assignments/02_logistic_from_scratch.md) — Логистическая регрессия с нуля
- [`assignments/03_regularization.md`](assignments/03_regularization.md) — L1 против L2

## Завершение модуля

Модуль завершён, когда все задания удовлетворяют критериям приёмки,
вы можете объяснить основные решения без ноутбука и получили review.