ai_learning/modules/04_optimization

Модуль 04. Оптимизация и регуляризация

Плановый срок: недели 8–9.

Цели

• выводить и реализовывать градиенты
• понимать batch, stochastic и mini-batch gradient descent
• выбирать learning rate, оптимизатор и регуляризацию

Предварительные знания

Нужны векторы и матрицы из модуля 02, ожидание из модуля 03 и базовое понимание производной.

Теория

1. Производные, градиент и поверхности потерь
2. GD, SGD, momentum, RMSProp и Adam
3. L1, L2, Elastic Net, early stopping и bias–variance

Термины модуля: notes/glossary.md.

Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно уметь связать с кодом и наблюдаемым поведением модели.

Задания

• assignments/01_gradient_descent.md — GD и SGD с нуля
• assignments/02_logistic_from_scratch.md — Логистическая регрессия с нуля
• assignments/03_regularization.md — L1 против L2

Завершение модуля

Модуль завершён, когда все задания удовлетворяют критериям приёмки, вы можете объяснить основные решения без ноутбука и получили review.