27 lines
3.3 KiB
Markdown
27 lines
3.3 KiB
Markdown
# Глоссарий модуля 09
|
||
|
||
- **Активация (activation)** — нелинейная функция, применяемая к выходу аффинного слоя.
|
||
- **Autodiff** — автоматическое применение правил дифференцирования к графу выполненных операций.
|
||
- **Backpropagation** — reverse-mode autodiff для распространения производной скалярной потери от выхода к параметрам.
|
||
- **BatchNorm** — нормализация канала по объектам и пространственным позициям мини-батча с обучаемыми масштабом и сдвигом.
|
||
- **Вычислительный граф** — ориентированный граф тензоров и операций, задающий зависимости результата.
|
||
- **Градиент** — вектор частных производных скалярной функции по аргументам.
|
||
- **Gradient checking** — сравнение аналитического/autodiff-градиента с конечными разностями.
|
||
- **GELU** — гладкая активация \(x\Phi(x)\).
|
||
- **Dropout** — регуляризация случайным обнулением активаций при обучении.
|
||
- **Исчезающий градиент** — экспоненциальное уменьшение градиента при прохождении через слои.
|
||
- **Инициализация He/Kaiming** — выбор дисперсии весов около \(2/d_{\mathrm{in}}\) для ReLU-подобных функций.
|
||
- **Инициализация Xavier/Glorot** — масштаб весов, согласующий дисперсии входа и выхода.
|
||
- **LayerNorm** — нормализация признаков внутри отдельного объекта.
|
||
- **Логит** — ненормализованная оценка класса до sigmoid или softmax.
|
||
- **MLP** — многослойный перцептрон, композиция аффинных слоёв и нелинейностей.
|
||
- **Перцептрон** — линейная пороговая модель бинарной классификации.
|
||
- **Прямой проход** — вычисление выхода и потери от входа к концу сети.
|
||
- **ReLU** — активация \(\max(0,x)\).
|
||
- **Reverse mode** — режим autodiff, эффективно вычисляющий производные одного выхода по многим входам.
|
||
- **Sigmoid** — функция \((1+e^{-x})^{-1}\), отображающая число в интервал \((0,1)\).
|
||
- **SiLU/Swish** — гладкая активация \(x\sigma(x)\).
|
||
- **tanh** — гиперболический тангенс с диапазоном \((-1,1)\).
|
||
- **Универсальная аппроксимация** — семейство теорем о приближении функций нейросетями при достаточной ширине.
|
||
- **XOR** — исключающее ИЛИ; классический пример линейно неразделимой задачи.
|