BratskihTech/ai_learning
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
c59197adaf
ai_learning/GLOSSARY.md

16 KiB
Raw Blame History

Глоссарий

Сквозной навигационный словарь курса. Здесь даны краткие определения общих терминов; подробности и предметную лексику ищите в глоссариях модулей в конце документа. Полный маршрут по конспектам находится в THEORY_INDEX.md.

А

Алгоритм — конечная однозначная последовательность действий, преобразующая входные данные в результат.

API (программный интерфейс) — явно описанный способ взаимодействия компонентов: операции, форматы запросов и ответов, ошибки и правила версий.

Артефакт — версионируемый результат ML-процесса: модель, датасет, метрики, конфигурация, отчёт или образ контейнера.

Асимптотическая сложность — скорость роста времени или памяти алгоритма при увеличении размера входа; обычно выражается через O, \Omega и \Theta.

Б

Батч (пакет) — группа объектов, обрабатываемых одной векторизованной операцией. Мини-батч — подмножество обучающей выборки для одного шага оптимизации.

Байесовская вероятность — подход, в котором неизвестные параметры описываются распределениями, обновляемыми с учётом наблюдений.

В

Вектор — упорядоченный набор чисел; в курсе считается вектором-столбцом \mathbf{x}\in\mathbb{R}^d, если не сказано иное.

Векторизация — выражение вычисления через операции над массивами вместо явных циклов высокого уровня.

Вероятность — численная мера возможности события, принимающая значения от 0 до 1.

Взаимная информация — уменьшение неопределённости одной случайной переменной после знания другой: I(X;Y)=H(Y)-H(Y\mid X).

Выпуклая функция — функция, график которой лежит не выше хорды: f(\lambda x+(1-\lambda)y)\leq\lambda f(x)+(1-\lambda)f(y).

Г

Градиент — вектор частных производных скалярной функции. Указывает направление максимального локального роста в евклидовой геометрии.

Гессиан — матрица вторых частных производных скалярной функции, характеризующая локальную кривизну.

Гиперпараметр — настройка процесса обучения или архитектуры, не оптимизируемая непосредственно как параметр модели на обучающей выборке.

Д

Датасет (набор данных) — коллекция наблюдений и, в обучении с учителем, соответствующих целевых значений.

Data drift — изменение распределения входных данных относительно референсного периода; само по себе не доказывает ухудшение качества модели.

Дифференциал — линейная главная часть изменения функции при малом изменении аргумента.

Дисперсия — ожидаемый квадрат отклонения случайной величины от её среднего: \operatorname{Var}(X)=\mathbb{E}[(X-\mathbb{E}X)^2].

Дивергенция Кульбака—Лейблера — несимметричная мера различия распределений D_{\mathrm{KL}}(p\|q)=\mathbb{E}_p[\log(p/q)].

Дрейф концепции (concept drift) — изменение зависимости между входом и целевой переменной, из-за которого прежняя модель может стать неверной.

И

Инференс — применение обученной модели для получения предсказаний.

Итерация — один повтор шага алгоритма; в оптимизации часто одно обновление параметров.

К

Ковариация — мера совместного линейного изменения двух случайных величин.

Кросс-энтропия — ожидаемая отрицательная логарифмическая вероятность, назначенная моделью q данным из p: H(p,q)=-\mathbb{E}_p\log q.

Контейнер — изолированная переносимая упаковка приложения с его runtime и зависимостями; образ контейнера является неизменяемым шаблоном запуска.

Контракт данных или сервиса — проверяемое соглашение о схеме, типах, семантике, допустимых значениях и поведении интерфейса.

Кэш — быстрая память или сохранённый промежуточный результат, уменьшающий стоимость повторного доступа или вычисления.

Л

Логит — ненормированная числовая оценка класса до применения sigmoid или softmax.

Лог-правдоподобие — логарифм вероятности наблюдённых данных как функции параметров модели.

Latency (задержка) — время от запроса до ответа; обычно контролируют не только среднее, но и высокие перцентили, например p95 и p99.

М

Матрица признаков — таблица \mathbf{X}\in\mathbb{R}^{n\times d}, где строки соответствуют объектам, а столбцы — признакам.

Машинная точность — минимальная относительная дистанция около единицы, различимая данным форматом плавающей точки.

Модель — параметризованное правило, преобразующее вход в предсказание или задающее распределение данных.

Н

Наблюдаемость (observability) — возможность понять состояние системы по метрикам, логам и трассировкам, включая качество данных и предсказаний.

Норма — функция размера вектора или матрицы, удовлетворяющая положительности, однородности и неравенству треугольника.

Нормализация — преобразование масштаба данных по заданному правилу. Стандартизация — частный случай с вычитанием среднего и делением на стандартное отклонение.

О

Обобщающая способность — качество модели на новых данных из целевого распределения, а не только на обучающей выборке.

Обусловленность — чувствительность точного решения математической задачи к малым возмущениям входа.

Обучение с учителем — обучение отображения по парам входов и известных целевых значений.

Оптимизатор — алгоритм обновления параметров с целью уменьшить функцию потерь.

П

Параметр модели — величина, настраиваемая по данным в ходе обучения.

Переобучение — подгонка к особенностям обучающей выборки, ухудшающая качество на новых данных.

Плотность вероятности — функция для непрерывной случайной величины, интеграл которой по области равен вероятности попадания в эту область.

Правило цепочки — правило производной композиции функций; математическая основа обратного распространения ошибки.

Признак — измеримая или вычисленная характеристика объекта, подаваемая модели на вход.

Происхождение данных (lineage) — прослеживаемая цепочка от исходных данных, кода и конфигурации до обученной модели и её метрик.

Р

Ранг матрицы — размерность пространства её линейно независимых строк или столбцов.

Реестр моделей (model registry) — система учёта версий моделей, метаданных, стадий проверки и разрешений на продвижение в окружения.

Регуляризация — ограничение или дополнительный штраф, уменьшающий эффективную сложность модели.

Релиз — управляемая публикация версии системы с проверками, журналом изменений, стратегией развёртывания и планом отката.

Rollback (откат) — возврат к предыдущей работоспособной версии сервиса, модели или конфигурации после неудачного релиза.

С

Самоинформация — неожиданность события вероятности p, равная -\log p.

Скаляр — одно число.

Случайная величина — измеримая числовая функция исхода случайного эксперимента; прописная буква обозначает величину, строчная — её реализацию.

Смещение (bias) — свободный член модели; также систематическая составляющая ошибки оценки. Конкретный смысл должен следовать из контекста.

SLA / SLO — SLA фиксирует внешнее обязательство по уровню сервиса, а SLO — внутреннюю измеримую цель, например доступность или p95 latency.

Softmax — преобразование логитов в категориальное распределение: p_i=e^{z_i}/\sum_j e^{z_j}.

Стохастический градиентный спуск — обновление параметров по оценке градиента, вычисленной на одном объекте или мини-батче.

CI/CD/CT — автоматизация интеграционных проверок, доставки изменений и, для CT, переобучения модели по контролируемому процессу.

Т

Тензор — многомерный массив; скаляр, вектор и матрица являются случаями тензора порядков 0, 1 и 2.

Ф

Функция потерь — численная мера ошибки предсказания для объекта или набора объектов, минимизируемая при обучении.

Ц

Целевая переменная — величина, которую модель должна предсказывать.

Ч

Численная устойчивость — свойство алгоритма не усиливать чрезмерно ошибки округления и представления данных.

Число обусловленности — количественная оценка чувствительности задачи; большое значение означает возможное сильное усиление входной ошибки.

Э

Эмпирический риск — средняя потеря модели на наблюдаемой выборке.

Энтропия — ожидаемая самоинформация распределения: H(X)=-\mathbb{E}\log p(X).

Эпоха — условно один полный проход алгоритма обучения по обучающему набору.

Я

Якобиан — матрица первых частных производных векторнозначной функции.

Связанные документы

Глоссарии модулей

Расположение исторически различается, поэтому используйте эти прямые ссылки: