277 lines
16 KiB
Markdown
277 lines
16 KiB
Markdown
# Глоссарий
|
||
|
||
Сквозной навигационный словарь курса. Здесь даны краткие определения общих
|
||
терминов; подробности и предметную лексику ищите в глоссариях модулей в конце
|
||
документа. Полный маршрут по конспектам находится в
|
||
[`THEORY_INDEX.md`](THEORY_INDEX.md).
|
||
|
||
## А
|
||
|
||
**Алгоритм** — конечная однозначная последовательность действий, преобразующая
|
||
входные данные в результат.
|
||
|
||
**API (программный интерфейс)** — явно описанный способ взаимодействия
|
||
компонентов: операции, форматы запросов и ответов, ошибки и правила версий.
|
||
|
||
**Артефакт** — версионируемый результат ML-процесса: модель, датасет, метрики,
|
||
конфигурация, отчёт или образ контейнера.
|
||
|
||
**Асимптотическая сложность** — скорость роста времени или памяти алгоритма при
|
||
увеличении размера входа; обычно выражается через \(O\), \(\Omega\) и
|
||
\(\Theta\).
|
||
|
||
## Б
|
||
|
||
**Батч (пакет)** — группа объектов, обрабатываемых одной векторизованной
|
||
операцией. Мини-батч — подмножество обучающей выборки для одного шага
|
||
оптимизации.
|
||
|
||
**Байесовская вероятность** — подход, в котором неизвестные параметры
|
||
описываются распределениями, обновляемыми с учётом наблюдений.
|
||
|
||
## В
|
||
|
||
**Вектор** — упорядоченный набор чисел; в курсе считается вектором-столбцом
|
||
\(\mathbf{x}\in\mathbb{R}^d\), если не сказано иное.
|
||
|
||
**Векторизация** — выражение вычисления через операции над массивами вместо
|
||
явных циклов высокого уровня.
|
||
|
||
**Вероятность** — численная мера возможности события, принимающая значения от
|
||
\(0\) до \(1\).
|
||
|
||
**Взаимная информация** — уменьшение неопределённости одной случайной
|
||
переменной после знания другой:
|
||
\(I(X;Y)=H(Y)-H(Y\mid X)\).
|
||
|
||
**Выпуклая функция** — функция, график которой лежит не выше хорды:
|
||
\(f(\lambda x+(1-\lambda)y)\leq\lambda f(x)+(1-\lambda)f(y)\).
|
||
|
||
## Г
|
||
|
||
**Градиент** — вектор частных производных скалярной функции. Указывает
|
||
направление максимального локального роста в евклидовой геометрии.
|
||
|
||
**Гессиан** — матрица вторых частных производных скалярной функции,
|
||
характеризующая локальную кривизну.
|
||
|
||
**Гиперпараметр** — настройка процесса обучения или архитектуры, не
|
||
оптимизируемая непосредственно как параметр модели на обучающей выборке.
|
||
|
||
## Д
|
||
|
||
**Датасет (набор данных)** — коллекция наблюдений и, в обучении с учителем,
|
||
соответствующих целевых значений.
|
||
|
||
**Data drift** — изменение распределения входных данных относительно
|
||
референсного периода; само по себе не доказывает ухудшение качества модели.
|
||
|
||
**Дифференциал** — линейная главная часть изменения функции при малом изменении
|
||
аргумента.
|
||
|
||
**Дисперсия** — ожидаемый квадрат отклонения случайной величины от её среднего:
|
||
\(\operatorname{Var}(X)=\mathbb{E}[(X-\mathbb{E}X)^2]\).
|
||
|
||
**Дивергенция Кульбака—Лейблера** — несимметричная мера различия распределений
|
||
\(D_{\mathrm{KL}}(p\|q)=\mathbb{E}_p[\log(p/q)]\).
|
||
|
||
**Дрейф концепции (concept drift)** — изменение зависимости между входом и
|
||
целевой переменной, из-за которого прежняя модель может стать неверной.
|
||
|
||
## И
|
||
|
||
**Инференс** — применение обученной модели для получения предсказаний.
|
||
|
||
**Итерация** — один повтор шага алгоритма; в оптимизации часто одно обновление
|
||
параметров.
|
||
|
||
## К
|
||
|
||
**Ковариация** — мера совместного линейного изменения двух случайных величин.
|
||
|
||
**Кросс-энтропия** — ожидаемая отрицательная логарифмическая вероятность,
|
||
назначенная моделью \(q\) данным из \(p\):
|
||
\(H(p,q)=-\mathbb{E}_p\log q\).
|
||
|
||
**Контейнер** — изолированная переносимая упаковка приложения с его runtime и
|
||
зависимостями; образ контейнера является неизменяемым шаблоном запуска.
|
||
|
||
**Контракт данных или сервиса** — проверяемое соглашение о схеме, типах,
|
||
семантике, допустимых значениях и поведении интерфейса.
|
||
|
||
**Кэш** — быстрая память или сохранённый промежуточный результат, уменьшающий
|
||
стоимость повторного доступа или вычисления.
|
||
|
||
## Л
|
||
|
||
**Логит** — ненормированная числовая оценка класса до применения sigmoid или
|
||
softmax.
|
||
|
||
**Лог-правдоподобие** — логарифм вероятности наблюдённых данных как функции
|
||
параметров модели.
|
||
|
||
**Latency (задержка)** — время от запроса до ответа; обычно контролируют не
|
||
только среднее, но и высокие перцентили, например p95 и p99.
|
||
|
||
## М
|
||
|
||
**Матрица признаков** — таблица
|
||
\(\mathbf{X}\in\mathbb{R}^{n\times d}\), где строки соответствуют объектам,
|
||
а столбцы — признакам.
|
||
|
||
**Машинная точность** — минимальная относительная дистанция около единицы,
|
||
различимая данным форматом плавающей точки.
|
||
|
||
**Модель** — параметризованное правило, преобразующее вход в предсказание или
|
||
задающее распределение данных.
|
||
|
||
## Н
|
||
|
||
**Наблюдаемость (observability)** — возможность понять состояние системы по
|
||
метрикам, логам и трассировкам, включая качество данных и предсказаний.
|
||
|
||
**Норма** — функция размера вектора или матрицы, удовлетворяющая
|
||
положительности, однородности и неравенству треугольника.
|
||
|
||
**Нормализация** — преобразование масштаба данных по заданному правилу.
|
||
Стандартизация — частный случай с вычитанием среднего и делением на стандартное
|
||
отклонение.
|
||
|
||
## О
|
||
|
||
**Обобщающая способность** — качество модели на новых данных из целевого
|
||
распределения, а не только на обучающей выборке.
|
||
|
||
**Обусловленность** — чувствительность точного решения математической задачи
|
||
к малым возмущениям входа.
|
||
|
||
**Обучение с учителем** — обучение отображения по парам входов и известных
|
||
целевых значений.
|
||
|
||
**Оптимизатор** — алгоритм обновления параметров с целью уменьшить функцию
|
||
потерь.
|
||
|
||
## П
|
||
|
||
**Параметр модели** — величина, настраиваемая по данным в ходе обучения.
|
||
|
||
**Переобучение** — подгонка к особенностям обучающей выборки, ухудшающая
|
||
качество на новых данных.
|
||
|
||
**Плотность вероятности** — функция для непрерывной случайной величины,
|
||
интеграл которой по области равен вероятности попадания в эту область.
|
||
|
||
**Правило цепочки** — правило производной композиции функций; математическая
|
||
основа обратного распространения ошибки.
|
||
|
||
**Признак** — измеримая или вычисленная характеристика объекта, подаваемая
|
||
модели на вход.
|
||
|
||
**Происхождение данных (lineage)** — прослеживаемая цепочка от исходных данных,
|
||
кода и конфигурации до обученной модели и её метрик.
|
||
|
||
## Р
|
||
|
||
**Ранг матрицы** — размерность пространства её линейно независимых строк или
|
||
столбцов.
|
||
|
||
**Реестр моделей (model registry)** — система учёта версий моделей, метаданных,
|
||
стадий проверки и разрешений на продвижение в окружения.
|
||
|
||
**Регуляризация** — ограничение или дополнительный штраф, уменьшающий
|
||
эффективную сложность модели.
|
||
|
||
**Релиз** — управляемая публикация версии системы с проверками, журналом
|
||
изменений, стратегией развёртывания и планом отката.
|
||
|
||
**Rollback (откат)** — возврат к предыдущей работоспособной версии сервиса,
|
||
модели или конфигурации после неудачного релиза.
|
||
|
||
## С
|
||
|
||
**Самоинформация** — неожиданность события вероятности \(p\), равная
|
||
\(-\log p\).
|
||
|
||
**Скаляр** — одно число.
|
||
|
||
**Случайная величина** — измеримая числовая функция исхода случайного
|
||
эксперимента; прописная буква обозначает величину, строчная — её реализацию.
|
||
|
||
**Смещение (bias)** — свободный член модели; также систематическая составляющая
|
||
ошибки оценки. Конкретный смысл должен следовать из контекста.
|
||
|
||
**SLA / SLO** — SLA фиксирует внешнее обязательство по уровню сервиса, а SLO —
|
||
внутреннюю измеримую цель, например доступность или p95 latency.
|
||
|
||
**Softmax** — преобразование логитов в категориальное распределение:
|
||
\(p_i=e^{z_i}/\sum_j e^{z_j}\).
|
||
|
||
**Стохастический градиентный спуск** — обновление параметров по оценке
|
||
градиента, вычисленной на одном объекте или мини-батче.
|
||
|
||
**CI/CD/CT** — автоматизация интеграционных проверок, доставки изменений и,
|
||
для CT, переобучения модели по контролируемому процессу.
|
||
|
||
## Т
|
||
|
||
**Тензор** — многомерный массив; скаляр, вектор и матрица являются случаями
|
||
тензора порядков \(0\), \(1\) и \(2\).
|
||
|
||
## Ф
|
||
|
||
**Функция потерь** — численная мера ошибки предсказания для объекта или
|
||
набора объектов, минимизируемая при обучении.
|
||
|
||
## Ц
|
||
|
||
**Целевая переменная** — величина, которую модель должна предсказывать.
|
||
|
||
## Ч
|
||
|
||
**Численная устойчивость** — свойство алгоритма не усиливать чрезмерно ошибки
|
||
округления и представления данных.
|
||
|
||
**Число обусловленности** — количественная оценка чувствительности задачи;
|
||
большое значение означает возможное сильное усиление входной ошибки.
|
||
|
||
## Э
|
||
|
||
**Эмпирический риск** — средняя потеря модели на наблюдаемой выборке.
|
||
|
||
**Энтропия** — ожидаемая самоинформация распределения:
|
||
\(H(X)=-\mathbb{E}\log p(X)\).
|
||
|
||
**Эпоха** — условно один полный проход алгоритма обучения по обучающему набору.
|
||
|
||
## Я
|
||
|
||
**Якобиан** — матрица первых частных производных векторнозначной функции.
|
||
|
||
## Связанные документы
|
||
|
||
- Единые обозначения: [`common/NOTATION.md`](common/NOTATION.md)
|
||
- Все теоретические главы: [`THEORY_INDEX.md`](THEORY_INDEX.md)
|
||
|
||
## Глоссарии модулей
|
||
|
||
Расположение исторически различается, поэтому используйте эти прямые ссылки:
|
||
|
||
- [00. Среда и Git](modules/00_environment/notes/glossary.md)
|
||
- [01. Python и NumPy](modules/01_python_numpy/notes/glossary.md)
|
||
- [02. Линейная алгебра](modules/02_math_linear_algebra/notes/glossary.md)
|
||
- [03. Вероятность и статистика](modules/03_probability_statistics/notes/glossary.md)
|
||
- [04. Оптимизация](modules/04_optimization/notes/glossary.md)
|
||
- [05. Данные и визуализация](modules/05_data_and_visualization/notes/glossary.md)
|
||
- [06. Классический ML](modules/06_classical_ml/glossary.md)
|
||
- [07. Деревья и бустинг](modules/07_trees_and_boosting/glossary.md)
|
||
- [08. Unsupervised learning](modules/08_unsupervised_learning/glossary.md)
|
||
- [09. Нейросети](modules/09_neural_networks/glossary.md)
|
||
- [10. Computer Vision](modules/10_computer_vision/glossary.md)
|
||
- [11. Звук, речь и музыка](modules/11_audio_speech_music/glossary.md)
|
||
- [12. Рукописный текст](modules/12_generative_handwriting/glossary.md)
|
||
- [13. NLP и Transformers](modules/13_nlp_transformers/notes/glossary.md)
|
||
- [14. Fine-tuning LLM](modules/14_llm_finetuning/notes/glossary.md)
|
||
- [15. ML Engineering](modules/15_ml_engineering/notes/glossary.md)
|
||
- [16. MLOps](modules/16_mlops_monitoring/notes/glossary.md)
|
||
- [17. Capstone](modules/17_capstone/notes/glossary.md)
|