# Глоссарий модуля 07

- **Дерево решений** — рекурсивное разбиение пространства признаков на листья.
- **Узел / лист** — область до разбиения / конечная область с предсказанием.
- **Split** — условие, разделяющее объекты узла на дочерние части.
- **Impurity** — мера неоднородности ответов внутри узла.
- **Gini** — \(1-\sum_kp_k^2\), критерий классификационного узла.
- **Энтропия** — \(-\sum_kp_k\log p_k\), неопределённость метки.
- **Variance criterion** — средний квадрат отклонения ответа от среднего листа.
- **Pruning** — удаление ветвей для контроля сложности дерева.
- **Cost-complexity pruning** — минимизация ошибки плюс \(\alpha\) за каждый лист.
- **Bootstrap** — выборка с возвращением из исходного train.
- **Bagging** — усреднение моделей на разных bootstrap-выборках.
- **Random Forest** — bagging деревьев со случайным подмножеством признаков в узле.
- **OOB-объект** — объект, не попавший в bootstrap конкретного дерева.
- **OOB score** — оценка по агрегатам только тех деревьев, где объект был OOB.
- **Permutation importance** — падение holdout-метрики после перемешивания признака.
- **Boosting** — последовательное добавление моделей, исправляющих текущую ошибку.
- **Псевдоостаток** — отрицательный градиент loss по текущему score.
- **Learning rate** — множитель вклада очередного дерева.
- **Stochastic boosting** — boosting на случайной подвыборке объектов/признаков.
- **Early stopping** — остановка по независимой validation-метрике.
- **Histogram boosting** — поиск splits по дискретизированным значениям признаков.

## Главы

1. [`notes/01_split_criteria_and_pruning.md`](notes/01_split_criteria_and_pruning.md)
2. [`notes/02_bagging_random_forest_oob.md`](notes/02_bagging_random_forest_oob.md)
3. [`notes/03_gradient_boosting.md`](notes/03_gradient_boosting.md)