# Глоссарий модуля 13

- **Attention mask** — ограничение допустимых связей query–key до softmax.
- **Beam search** — поиск, сохраняющий несколько лучших префиксов генерации.
- **BPE (Byte Pair Encoding)** — subword-алгоритм последовательного объединения
  самых частых соседних элементов.
- **Causal mask** — маска, запрещающая позиции видеть будущие токены.
- **Cross-attention** — attention, где query и keys/values приходят из разных
  последовательностей.
- **Decoder-only Transformer** — стек causal-блоков для авторегрессионной LM.
- **Embedding** — плотное обучаемое векторное представление дискретного элемента.
- **Encoder-only Transformer** — двунаправленный стек блоков для представлений.
- **Encoder–decoder** — архитектура с отдельным энкодером источника и
  авторегрессионным декодером с cross-attention.
- **Feed-forward network (FFN)** — позиционно-независимая MLP внутри блока.
- **GPT** — семейство decoder-only причинных языковых моделей.
- **Head** — отдельный набор Q/K/V-проекций в multi-head attention.
- **Key** — вектор признаков, по которому query оценивает релевантность позиции.
- **KV-cache** — сохранённые keys/values прошлых позиций для ускорения decode.
- **Language model** — модель распределения токенов или условных вероятностей.
- **LayerNorm** — нормализация признаков внутри одного вектора позиции.
- **Logit** — ненормированная оценка класса до softmax.
- **Masked language modeling (MLM)** — восстановление скрытых токенов по
  двунаправленному контексту.
- **Multi-head attention** — параллельные attention-головы с объединением.
- **Nucleus (top-p) sampling** — выбор из минимального множества токенов с
  заданной суммарной вероятностью.
- **Padding** — искусственные элементы для выравнивания длин в batch.
- **Perplexity** — \(\exp\) средней отрицательной log-likelihood на токен.
- **Positional encoding** — информация о позиции, добавленная в представление.
- **Query** — вектор запроса текущей позиции к keys.
- **Residual connection** — сложение входа подслоя с его преобразованием.
- **RoPE** — rotary positional embedding, позиционно-зависимое вращение Q/K.
- **Scaled dot-product attention** — softmax от
  \(\mathbf Q\mathbf K^\top/\sqrt{d_k}\), умноженный на \(\mathbf V\).
- **Self-attention** — attention с Q/K/V, полученными из одной последовательности.
- **Special token** — служебный токен вроде BOS, EOS, PAD или MASK.
- **Subword** — элемент словаря между символом и словом.
- **Teacher forcing** — обучение следующего шага на истинном предыдущем контексте.
- **Temperature** — делитель логитов, регулирующий остроту sampling-распределения.
- **Token** — дискретная единица, выдаваемая токенизатором.
- **Tokenizer** — версионируемое преобразование текста в IDs и обратно.
- **Transformer-блок** — attention и FFN с residual-связями и нормализацией.
- **Value** — передаваемый вектор, смешиваемый attention weights.
- **Weight tying** — совместное использование входной embedding-матрицы и
  выходной LM-проекции.