# Модуль 13. NLP, attention и Transformers

Плановый срок: **недели 30–32**.

## Предварительные знания

Матричное умножение, softmax/cross-entropy и backpropagation из
[модуля 09](../09_neural_networks/README.md), базовые PyTorch и обработка строк.

## Цели

- понимать токенизацию, эмбеддинги и attention
- реализовать упрощённый Transformer и обучить малую языковую модель
- правильно оценивать модели текста

## Уроки

1. [Tokenization, embeddings, positional information и language modeling](notes/01_tokenization_embeddings_language_modeling.md)
2. [Scaled dot-product attention и Transformer blocks](notes/02_attention_and_transformer_block.md)
3. [Encoder/decoder, BERT/GPT-подходы, оценка и генерация](notes/03_architectures_evaluation_generation.md)

Термины модуля: [глоссарий](notes/glossary.md).

Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
уметь связать с кодом и наблюдаемым поведением модели.

## Задания

- [`assignments/01_attention.md`](assignments/01_attention.md) — Self-attention с нуля
- [`assignments/02_tiny_lm.md`](assignments/02_tiny_lm.md) — Маленькая языковая модель
- [`assignments/03_text_classifier.md`](assignments/03_text_classifier.md) — Классификатор на Transformer

## Завершение модуля

Модуль завершён, когда все задания удовлетворяют критериям приёмки,
вы можете объяснить основные решения без ноутбука и получили review.