30 lines
2.7 KiB
Markdown
30 lines
2.7 KiB
Markdown
# Глоссарий модуля 07
|
||
|
||
- **Дерево решений** — рекурсивное разбиение пространства признаков на листья.
|
||
- **Узел / лист** — область до разбиения / конечная область с предсказанием.
|
||
- **Split** — условие, разделяющее объекты узла на дочерние части.
|
||
- **Impurity** — мера неоднородности ответов внутри узла.
|
||
- **Gini** — \(1-\sum_kp_k^2\), критерий классификационного узла.
|
||
- **Энтропия** — \(-\sum_kp_k\log p_k\), неопределённость метки.
|
||
- **Variance criterion** — средний квадрат отклонения ответа от среднего листа.
|
||
- **Pruning** — удаление ветвей для контроля сложности дерева.
|
||
- **Cost-complexity pruning** — минимизация ошибки плюс \(\alpha\) за каждый лист.
|
||
- **Bootstrap** — выборка с возвращением из исходного train.
|
||
- **Bagging** — усреднение моделей на разных bootstrap-выборках.
|
||
- **Random Forest** — bagging деревьев со случайным подмножеством признаков в узле.
|
||
- **OOB-объект** — объект, не попавший в bootstrap конкретного дерева.
|
||
- **OOB score** — оценка по агрегатам только тех деревьев, где объект был OOB.
|
||
- **Permutation importance** — падение holdout-метрики после перемешивания признака.
|
||
- **Boosting** — последовательное добавление моделей, исправляющих текущую ошибку.
|
||
- **Псевдоостаток** — отрицательный градиент loss по текущему score.
|
||
- **Learning rate** — множитель вклада очередного дерева.
|
||
- **Stochastic boosting** — boosting на случайной подвыборке объектов/признаков.
|
||
- **Early stopping** — остановка по независимой validation-метрике.
|
||
- **Histogram boosting** — поиск splits по дискретизированным значениям признаков.
|
||
|
||
## Главы
|
||
|
||
1. [`notes/01_split_criteria_and_pruning.md`](notes/01_split_criteria_and_pruning.md)
|
||
2. [`notes/02_bagging_random_forest_oob.md`](notes/02_bagging_random_forest_oob.md)
|
||
3. [`notes/03_gradient_boosting.md`](notes/03_gradient_boosting.md)
|