ai_learning/modules/04_optimization/notes/glossary.md

Глоссарий модуля 04

• Adam — адаптивный оптимизатор с оценками первого и второго моментов градиента.
• Bias–variance decomposition — разложение ожидаемой квадратичной ошибки на шум, квадрат смещения и дисперсию модели.
• Early stopping — остановка обучения по validation-метрике с восстановлением лучших параметров.
• Elastic Net — сумма L1- и L2-штрафов.
• GD — шаг по полному градиенту эмпирического риска.
• Learning rate \eta — масштаб обновления параметров.
• Mini-batch — подмножество объектов для одной оценки градиента.
• Momentum — экспоненциальное усреднение направлений градиента.
• RMSProp — адаптация шага по экспоненциальному среднему квадратов градиента.
• SGD — обновление по одному объекту или малой случайной группе.
• L1-регуляризация — штраф \lambda\|\mathbf w\|_1, способствующий разреженности.
• L2-регуляризация — штраф \lambda\|\mathbf w\|_2^2/2, плавно сжимающий веса.
• Выпуклая функция — функция, лежащая не выше хорды между любыми двумя точками графика.
• Гессиан — матрица вторых частных производных.
• Градиент — вектор частных производных скалярной функции.
• Обусловленность — чувствительность задачи и относительный масштаб кривизны по направлениям.
• Поверхность потерь — зависимость целевой функции от параметров.
• Регуляризация — ограничение модели ради лучшего обобщения.
• Седловая точка — стационарная точка с направлениями роста и убывания.
• Субградиент — обобщение градиента для выпуклой недифференцируемой функции.
• Функция потерь — численная цена ошибки модели.