24 lines
2.7 KiB
Markdown
24 lines
2.7 KiB
Markdown
# Глоссарий модуля 04
|
||
|
||
- **Adam** — адаптивный оптимизатор с оценками первого и второго моментов градиента.
|
||
- **Bias–variance decomposition** — разложение ожидаемой квадратичной ошибки на шум, квадрат смещения и дисперсию модели.
|
||
- **Early stopping** — остановка обучения по validation-метрике с восстановлением лучших параметров.
|
||
- **Elastic Net** — сумма L1- и L2-штрафов.
|
||
- **GD** — шаг по полному градиенту эмпирического риска.
|
||
- **Learning rate** \(\eta\) — масштаб обновления параметров.
|
||
- **Mini-batch** — подмножество объектов для одной оценки градиента.
|
||
- **Momentum** — экспоненциальное усреднение направлений градиента.
|
||
- **RMSProp** — адаптация шага по экспоненциальному среднему квадратов градиента.
|
||
- **SGD** — обновление по одному объекту или малой случайной группе.
|
||
- **L1-регуляризация** — штраф \(\lambda\|\mathbf w\|_1\), способствующий разреженности.
|
||
- **L2-регуляризация** — штраф \(\lambda\|\mathbf w\|_2^2/2\), плавно сжимающий веса.
|
||
- **Выпуклая функция** — функция, лежащая не выше хорды между любыми двумя точками графика.
|
||
- **Гессиан** — матрица вторых частных производных.
|
||
- **Градиент** — вектор частных производных скалярной функции.
|
||
- **Обусловленность** — чувствительность задачи и относительный масштаб кривизны по направлениям.
|
||
- **Поверхность потерь** — зависимость целевой функции от параметров.
|
||
- **Регуляризация** — ограничение модели ради лучшего обобщения.
|
||
- **Седловая точка** — стационарная точка с направлениями роста и убывания.
|
||
- **Субградиент** — обобщение градиента для выпуклой недифференцируемой функции.
|
||
- **Функция потерь** — численная цена ошибки модели.
|