# Глоссарий модуля 04

- **Adam** — адаптивный оптимизатор с оценками первого и второго моментов градиента.
- **Bias–variance decomposition** — разложение ожидаемой квадратичной ошибки на шум, квадрат смещения и дисперсию модели.
- **Early stopping** — остановка обучения по validation-метрике с восстановлением лучших параметров.
- **Elastic Net** — сумма L1- и L2-штрафов.
- **GD** — шаг по полному градиенту эмпирического риска.
- **Learning rate** \(\eta\) — масштаб обновления параметров.
- **Mini-batch** — подмножество объектов для одной оценки градиента.
- **Momentum** — экспоненциальное усреднение направлений градиента.
- **RMSProp** — адаптация шага по экспоненциальному среднему квадратов градиента.
- **SGD** — обновление по одному объекту или малой случайной группе.
- **L1-регуляризация** — штраф \(\lambda\|\mathbf w\|_1\), способствующий разреженности.
- **L2-регуляризация** — штраф \(\lambda\|\mathbf w\|_2^2/2\), плавно сжимающий веса.
- **Выпуклая функция** — функция, лежащая не выше хорды между любыми двумя точками графика.
- **Гессиан** — матрица вторых частных производных.
- **Градиент** — вектор частных производных скалярной функции.
- **Обусловленность** — чувствительность задачи и относительный масштаб кривизны по направлениям.
- **Поверхность потерь** — зависимость целевой функции от параметров.
- **Регуляризация** — ограничение модели ради лучшего обобщения.
- **Седловая точка** — стационарная точка с направлениями роста и убывания.
- **Субградиент** — обобщение градиента для выпуклой недифференцируемой функции.
- **Функция потерь** — численная цена ошибки модели.