38 lines
2.1 KiB
Markdown
38 lines
2.1 KiB
Markdown
# Модуль 09. Нейросети и backpropagation
|
||
|
||
Плановый срок: **недели 18–20**.
|
||
|
||
## Предварительные знания
|
||
|
||
Линейная алгебра (векторы, матрицы, матричное умножение), производные и правило
|
||
цепочки, базовые NumPy и Python.
|
||
|
||
## Цели
|
||
|
||
- понимать перцептрон, MLP, вычислительный граф и backpropagation
|
||
- выбирать активации, loss, инициализацию и нормализацию
|
||
- диагностировать исчезающие/взрывающиеся градиенты и переобучение
|
||
|
||
## Уроки
|
||
|
||
1. [Перцептрон, линейные слои, XOR и универсальная аппроксимация](notes/01_perceptron_mlp_xor.md)
|
||
2. [Chain rule, backpropagation и automatic differentiation](notes/02_backprop_autodiff.md)
|
||
3. [Активации, initialization, normalization и dropout](notes/03_activations_initialization_regularization.md)
|
||
|
||
Термины модуля: [глоссарий](glossary.md).
|
||
|
||
Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
|
||
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
|
||
уметь связать с кодом и наблюдаемым поведением модели.
|
||
|
||
## Задания
|
||
|
||
- [`assignments/01_mlp_numpy.md`](assignments/01_mlp_numpy.md) — MLP и backprop с нуля
|
||
- [`assignments/02_activations.md`](assignments/02_activations.md) — Эксперимент с активациями
|
||
- [`assignments/03_pytorch_training.md`](assignments/03_pytorch_training.md) — Надёжный training loop
|
||
|
||
## Завершение модуля
|
||
|
||
Модуль завершён, когда все задания удовлетворяют критериям приёмки,
|
||
вы можете объяснить основные решения без ноутбука и получили review.
|