2.8 KiB
2.8 KiB
Глоссарий модуля 17
- Ablation — эксперимент с удалением компонента для измерения его вклада.
- Baseline — простая честная точка сравнения.
- Brier score — средний квадрат ошибки вероятностного прогноза.
- Calibration — соответствие предсказанной вероятности наблюдаемой частоте.
- Capacity constraint — ограничение числа действий, например контактов в неделю.
- Decision metric — метрика качества решения после применения policy.
- Error analysis — систематическое исследование типов, сегментов и причин ошибок.
- Feature cutoff — момент, после которого данные не разрешено использовать для прогноза.
- Guardrail metric — метрика безопасности, которая не должна ухудшаться.
- Learning curve — зависимость качества от объёма данных или шага обучения.
- Model bundle — модель, preprocessing, signature, threshold и метаданные как единица релиза.
- Model card — версионированное описание назначения, оценки, ограничений и рисков.
- Observation window — прошлый интервал, из которого строятся признаки.
- Point-in-time correctness — использование только информации, доступной в момент решения.
- Prediction horizon — будущий интервал, для которого определяется исход.
- Precision@k — доля положительных объектов среди первых
kв ranking. - Primary metric — заранее выбранная главная метрика сравнения.
- Risk register — список рисков с вероятностью, ущербом, мерами и владельцем.
- Slice — содержательно определённая подгруппа данных для отдельной оценки.
- Test set — отложенные данные для финальной независимой оценки.
- Threshold — граница преобразования score в решение.
- Uplift — причинное изменение исхода из-за действия.
- Unit of prediction — объект, для которого создаётся одно предсказание.