# Соглашения об обозначениях

Этот файл задаёт общую математическую запись для всех курсов. Локальные
исключения допустимы только с явным пояснением.

## Общие правила

- Скаляр: \(x,a,\lambda\).
- Вектор-столбец: \(\mathbf{x}\in\mathbb{R}^d\).
- Матрица: \(\mathbf{X}\in\mathbb{R}^{n\times d}\).
- Множество: \(\mathcal{D}\), пространство: \(\mathbb{R}^d\).
- Индексы начинаются с \(1\) в формулах и с \(0\) в Python.
- Верхний индекс в скобках, например \(\mathbf{x}^{(i)}\), обозначает номер
  объекта, а не степень.

## Данные и параметры

Набор из \(n\) объектов с \(d\) признаками:

\[
\mathcal{D}=\{(\mathbf{x}^{(i)},y^{(i)})\}_{i=1}^{n},\qquad
\mathbf{X}=
\begin{bmatrix}
(\mathbf{x}^{(1)})^\top\\
\cdots\\
(\mathbf{x}^{(n)})^\top
\end{bmatrix}
\in\mathbb{R}^{n\times d}.
\]

Строка матрицы — объект, столбец — признак. Целевой вектор
\(\mathbf{y}\in\mathbb{R}^n\). Параметры модели обозначаются
\(\boldsymbol{\theta}\); веса линейной модели — \(\mathbf{w}\), смещение —
\(b\). Предсказание — \(\hat y\), истинное значение — \(y\).

Разбиения данных: \(\mathcal{D}_{\mathrm{train}}\),
\(\mathcal{D}_{\mathrm{val}}\), \(\mathcal{D}_{\mathrm{test}}\).

## Векторы и матрицы

\[
\mathbf{x}^\top\mathbf{y}=\sum_{j=1}^{d}x_jy_j,\qquad
\|\mathbf{x}\|_2=\sqrt{\sum_jx_j^2},\qquad
\|\mathbf{x}\|_1=\sum_j|x_j|.
\]

- \(\mathbf{A}^\top\) — транспонирование.
- \(\mathbf{A}^{-1}\) — обратная матрица, только если она существует.
- \(\mathbf{I}_d\) — единичная матрица размера \(d\).
- \(\mathbf{0}\), \(\mathbf{1}\) — векторы или матрицы из нулей и единиц;
  размер следует из контекста.
- \(\operatorname{diag}(\mathbf{x})\) — диагональная матрица.
- \(\operatorname{tr}(\mathbf{A})=\sum_i A_{ii}\) — след.
- \(\det(\mathbf{A})\) — определитель.
- \(\operatorname{rank}(\mathbf{A})\) — ранг.
- \(\mathbf{A}\odot\mathbf{B}\) — поэлементное произведение.
- \(\mathbf{A}\mathbf{B}\) — матричное произведение.

Норма Фробениуса:

\[
\|\mathbf{A}\|_F=
\sqrt{\sum_{i,j}A_{ij}^2}
=\sqrt{\operatorname{tr}(\mathbf{A}^\top\mathbf{A})}.
\]

Запись \(\mathbf{A}\succeq0\) означает симметричную положительно
полуопределённую матрицу:
\(\mathbf{x}^\top\mathbf{A}\mathbf{x}\geq0\) для любого \(\mathbf{x}\).

## Функции и отображения

\[
f:\mathbb{R}^d\to\mathbb{R},\qquad
\mathbf{g}:\mathbb{R}^d\to\mathbb{R}^m.
\]

Композиция записывается \(f\circ g\), то есть
\((f\circ g)(x)=f(g(x))\). Образ множества — \(f(\mathcal{X})\).
Индикатор события:

\[
\mathbb{1}\{A\}=
\begin{cases}
1,&A\text{ произошло},\\
0,&\text{иначе}.
\end{cases}
\]

## Дифференциальное исчисление

Обычная производная — \(f'(x)=df/dx\), частная производная —
\(\partial f/\partial x_j\). Градиент скалярной функции — вектор-столбец:

\[
\nabla_{\mathbf{x}}f=
\begin{bmatrix}
\partial f/\partial x_1\\
\vdots\\
\partial f/\partial x_d
\end{bmatrix}
\in\mathbb{R}^{d}.
\]

Гессиан:

\[
\nabla_{\mathbf{x}}^2 f=
\left[\frac{\partial^2 f}{\partial x_i\partial x_j}\right]_{i,j}
\in\mathbb{R}^{d\times d}.
\]

Якобиан \(\mathbf{g}:\mathbb{R}^d\to\mathbb{R}^m\):

\[
\mathbf{J}_{\mathbf{g}}(\mathbf{x})=
\left[\frac{\partial g_i}{\partial x_j}\right]_{i,j}
\in\mathbb{R}^{m\times d}.
\]

Дифференциал записывается \(df\). Для функции матрицы градиент определяется
соглашением

\[
df=\operatorname{tr}\left(
(\nabla_{\mathbf{X}}f)^\top d\mathbf{X}
\right).
\]

## Вероятность

Вероятностное пространство явно не выписывается, если оно не существенно.

- Случайные величины: \(X,Y\); их реализации: \(x,y\).
- Случайный вектор: \(\mathbf{X}\); наблюдение: \(\mathbf{x}\).
- Вероятность события: \(\mathbb{P}(A)\).
- Условная вероятность: \(\mathbb{P}(A\mid B)\).
- Плотность или функция вероятности: \(p_X(x)\), кратко \(p(x)\).
- Совместное распределение: \(p(x,y)\).
- Условное распределение: \(p(y\mid x)\).
- Математическое ожидание: \(\mathbb{E}[X]\).
- Дисперсия: \(\operatorname{Var}(X)\).
- Ковариация: \(\operatorname{Cov}(X,Y)\).
- Ковариационная матрица: \(\boldsymbol{\Sigma}\).

\[
\mathbb{E}_{X\sim p}[f(X)]
=\int f(x)p(x)\,dx
\]

для непрерывного \(X\); для дискретного интеграл заменяется суммой. Запись
\(X\sim\mathcal{N}(\mu,\sigma^2)\) означает нормальное распределение.
Независимость обозначается \(X\perp Y\), условная независимость —
\(X\perp Y\mid Z\).

## Оценивание и оптимизация

Истинный неизвестный параметр — \(\theta\), его оценка по данным —
\(\hat\theta\). Функция потерь одного объекта — \(\ell\), эмпирический риск:

\[
\hat R(\boldsymbol{\theta})
=\frac1n\sum_{i=1}^{n}
\ell\left(f_{\boldsymbol{\theta}}(\mathbf{x}^{(i)}),y^{(i)}\right).
\]

\[
\boldsymbol{\theta}^\star
\in\arg\min_{\boldsymbol{\theta}\in\Theta}
L(\boldsymbol{\theta}).
\]

\(\min L\) — минимальное значение, а \(\arg\min L\) — множество аргументов,
на которых оно достигается. Итерация алгоритма имеет индекс \(t\):

\[
\boldsymbol{\theta}_{t+1}
=\boldsymbol{\theta}_t-\eta_t\nabla L(\boldsymbol{\theta}_t),
\]

где \(\eta_t>0\) — шаг обучения.

## Суммы, пределы и асимптотика

\[
\sum_{i=1}^{n}a_i,\qquad
\prod_{i=1}^{n}a_i,\qquad
\lim_{n\to\infty}a_n.
\]

\(f(n)=O(g(n))\) задаёт асимптотическую верхнюю границу с точностью до
константы; \(\Theta(g(n))\) — двустороннюю. Эти обозначения не описывают
реальное время для конкретного малого \(n\).

## Числа и вычисления

- \(\varepsilon\) — малая математическая величина или допуск; машинная точность
  обозначается \(\varepsilon_{\mathrm{mach}}\).
- \(\operatorname{softmax}(\mathbf{z})_i
  =e^{z_i}/\sum_j e^{z_j}\).
- \(\log\) — натуральный логарифм, если основание не указано.
- \(a\approx b\) — приближённое равенство; \(a\propto b\) —
  пропорциональность.

В тексте нельзя смешивать математический вектор \(\mathbf{x}\in\mathbb{R}^d\)
с массивом NumPy формы `(1, d)`: первый обычно соответствует форме `(d,)`.
Формы `(d,)`, `(d, 1)` и `(1, d)` в коде различны.