3.3 KiB
3.3 KiB
Глоссарий модуля 09
- Активация (activation) — нелинейная функция, применяемая к выходу аффинного слоя.
- Autodiff — автоматическое применение правил дифференцирования к графу выполненных операций.
- Backpropagation — reverse-mode autodiff для распространения производной скалярной потери от выхода к параметрам.
- BatchNorm — нормализация канала по объектам и пространственным позициям мини-батча с обучаемыми масштабом и сдвигом.
- Вычислительный граф — ориентированный граф тензоров и операций, задающий зависимости результата.
- Градиент — вектор частных производных скалярной функции по аргументам.
- Gradient checking — сравнение аналитического/autodiff-градиента с конечными разностями.
- GELU — гладкая активация
x\Phi(x). - Dropout — регуляризация случайным обнулением активаций при обучении.
- Исчезающий градиент — экспоненциальное уменьшение градиента при прохождении через слои.
- Инициализация He/Kaiming — выбор дисперсии весов около
2/d_{\mathrm{in}}для ReLU-подобных функций. - Инициализация Xavier/Glorot — масштаб весов, согласующий дисперсии входа и выхода.
- LayerNorm — нормализация признаков внутри отдельного объекта.
- Логит — ненормализованная оценка класса до sigmoid или softmax.
- MLP — многослойный перцептрон, композиция аффинных слоёв и нелинейностей.
- Перцептрон — линейная пороговая модель бинарной классификации.
- Прямой проход — вычисление выхода и потери от входа к концу сети.
- ReLU — активация
\max(0,x). - Reverse mode — режим autodiff, эффективно вычисляющий производные одного выхода по многим входам.
- Sigmoid — функция
(1+e^{-x})^{-1}, отображающая число в интервал(0,1). - SiLU/Swish — гладкая активация
x\sigma(x). - tanh — гиперболический тангенс с диапазоном
(-1,1). - Универсальная аппроксимация — семейство теорем о приближении функций нейросетями при достаточной ширине.
- XOR — исключающее ИЛИ; классический пример линейно неразделимой задачи.