2.7 KiB
2.7 KiB
Глоссарий модуля 07
- Дерево решений — рекурсивное разбиение пространства признаков на листья.
- Узел / лист — область до разбиения / конечная область с предсказанием.
- Split — условие, разделяющее объекты узла на дочерние части.
- Impurity — мера неоднородности ответов внутри узла.
- Gini —
1-\sum_kp_k^2, критерий классификационного узла. - Энтропия —
-\sum_kp_k\log p_k, неопределённость метки. - Variance criterion — средний квадрат отклонения ответа от среднего листа.
- Pruning — удаление ветвей для контроля сложности дерева.
- Cost-complexity pruning — минимизация ошибки плюс
\alphaза каждый лист. - Bootstrap — выборка с возвращением из исходного train.
- Bagging — усреднение моделей на разных bootstrap-выборках.
- Random Forest — bagging деревьев со случайным подмножеством признаков в узле.
- OOB-объект — объект, не попавший в bootstrap конкретного дерева.
- OOB score — оценка по агрегатам только тех деревьев, где объект был OOB.
- Permutation importance — падение holdout-метрики после перемешивания признака.
- Boosting — последовательное добавление моделей, исправляющих текущую ошибку.
- Псевдоостаток — отрицательный градиент loss по текущему score.
- Learning rate — множитель вклада очередного дерева.
- Stochastic boosting — boosting на случайной подвыборке объектов/признаков.
- Early stopping — остановка по независимой validation-метрике.
- Histogram boosting — поиск splits по дискретизированным значениям признаков.