2.1 KiB
2.1 KiB
Модуль 09. Нейросети и backpropagation
Плановый срок: недели 18–20.
Предварительные знания
Линейная алгебра (векторы, матрицы, матричное умножение), производные и правило цепочки, базовые NumPy и Python.
Цели
- понимать перцептрон, MLP, вычислительный граф и backpropagation
- выбирать активации, loss, инициализацию и нормализацию
- диагностировать исчезающие/взрывающиеся градиенты и переобучение
Уроки
- Перцептрон, линейные слои, XOR и универсальная аппроксимация
- Chain rule, backpropagation и automatic differentiation
- Активации, initialization, normalization и dropout
Термины модуля: глоссарий.
Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно уметь связать с кодом и наблюдаемым поведением модели.
Задания
assignments/01_mlp_numpy.md— MLP и backprop с нуляassignments/02_activations.md— Эксперимент с активациямиassignments/03_pytorch_training.md— Надёжный training loop
Завершение модуля
Модуль завершён, когда все задания удовлетворяют критериям приёмки, вы можете объяснить основные решения без ноутбука и получили review.