# Глоссарий модуля 09

- **Активация (activation)** — нелинейная функция, применяемая к выходу аффинного слоя.
- **Autodiff** — автоматическое применение правил дифференцирования к графу выполненных операций.
- **Backpropagation** — reverse-mode autodiff для распространения производной скалярной потери от выхода к параметрам.
- **BatchNorm** — нормализация канала по объектам и пространственным позициям мини-батча с обучаемыми масштабом и сдвигом.
- **Вычислительный граф** — ориентированный граф тензоров и операций, задающий зависимости результата.
- **Градиент** — вектор частных производных скалярной функции по аргументам.
- **Gradient checking** — сравнение аналитического/autodiff-градиента с конечными разностями.
- **GELU** — гладкая активация \(x\Phi(x)\).
- **Dropout** — регуляризация случайным обнулением активаций при обучении.
- **Исчезающий градиент** — экспоненциальное уменьшение градиента при прохождении через слои.
- **Инициализация He/Kaiming** — выбор дисперсии весов около \(2/d_{\mathrm{in}}\) для ReLU-подобных функций.
- **Инициализация Xavier/Glorot** — масштаб весов, согласующий дисперсии входа и выхода.
- **LayerNorm** — нормализация признаков внутри отдельного объекта.
- **Логит** — ненормализованная оценка класса до sigmoid или softmax.
- **MLP** — многослойный перцептрон, композиция аффинных слоёв и нелинейностей.
- **Перцептрон** — линейная пороговая модель бинарной классификации.
- **Прямой проход** — вычисление выхода и потери от входа к концу сети.
- **ReLU** — активация \(\max(0,x)\).
- **Reverse mode** — режим autodiff, эффективно вычисляющий производные одного выхода по многим входам.
- **Sigmoid** — функция \((1+e^{-x})^{-1}\), отображающая число в интервал \((0,1)\).
- **SiLU/Swish** — гладкая активация \(x\sigma(x)\).
- **tanh** — гиперболический тангенс с диапазоном \((-1,1)\).
- **Универсальная аппроксимация** — семейство теорем о приближении функций нейросетями при достаточной ширине.
- **XOR** — исключающее ИЛИ; классический пример линейно неразделимой задачи.