ai_learning/modules/13_nlp_transformers/notes/glossary.md

Глоссарий модуля 13

• Attention mask — ограничение допустимых связей query–key до softmax.
• Beam search — поиск, сохраняющий несколько лучших префиксов генерации.
• BPE (Byte Pair Encoding) — subword-алгоритм последовательного объединения самых частых соседних элементов.
• Causal mask — маска, запрещающая позиции видеть будущие токены.
• Cross-attention — attention, где query и keys/values приходят из разных последовательностей.
• Decoder-only Transformer — стек causal-блоков для авторегрессионной LM.
• Embedding — плотное обучаемое векторное представление дискретного элемента.
• Encoder-only Transformer — двунаправленный стек блоков для представлений.
• Encoder–decoder — архитектура с отдельным энкодером источника и авторегрессионным декодером с cross-attention.
• Feed-forward network (FFN) — позиционно-независимая MLP внутри блока.
• GPT — семейство decoder-only причинных языковых моделей.
• Head — отдельный набор Q/K/V-проекций в multi-head attention.
• Key — вектор признаков, по которому query оценивает релевантность позиции.
• KV-cache — сохранённые keys/values прошлых позиций для ускорения decode.
• Language model — модель распределения токенов или условных вероятностей.
• LayerNorm — нормализация признаков внутри одного вектора позиции.
• Logit — ненормированная оценка класса до softmax.
• Masked language modeling (MLM) — восстановление скрытых токенов по двунаправленному контексту.
• Multi-head attention — параллельные attention-головы с объединением.
• Nucleus (top-p) sampling — выбор из минимального множества токенов с заданной суммарной вероятностью.
• Padding — искусственные элементы для выравнивания длин в batch.
• Perplexity — \exp средней отрицательной log-likelihood на токен.
• Positional encoding — информация о позиции, добавленная в представление.
• Query — вектор запроса текущей позиции к keys.
• Residual connection — сложение входа подслоя с его преобразованием.
• RoPE — rotary positional embedding, позиционно-зависимое вращение Q/K.
• Scaled dot-product attention — softmax от \mathbf Q\mathbf K^\top/\sqrt{d_k}, умноженный на \mathbf V.
• Self-attention — attention с Q/K/V, полученными из одной последовательности.
• Special token — служебный токен вроде BOS, EOS, PAD или MASK.
• Subword — элемент словаря между символом и словом.
• Teacher forcing — обучение следующего шага на истинном предыдущем контексте.
• Temperature — делитель логитов, регулирующий остроту sampling-распределения.
• Token — дискретная единица, выдаваемая токенизатором.
• Tokenizer — версионируемое преобразование текста в IDs и обратно.
• Transformer-блок — attention и FFN с residual-связями и нормализацией.
• Value — передаваемый вектор, смешиваемый attention weights.
• Weight tying — совместное использование входной embedding-матрицы и выходной LM-проекции.