ai_learning/modules/13_nlp_transformers

Модуль 13. NLP, attention и Transformers

Плановый срок: недели 30–32.

Предварительные знания

Матричное умножение, softmax/cross-entropy и backpropagation из модуля 09, базовые PyTorch и обработка строк.

Цели

• понимать токенизацию, эмбеддинги и attention
• реализовать упрощённый Transformer и обучить малую языковую модель
• правильно оценивать модели текста

Уроки

1. Tokenization, embeddings, positional information и language modeling
2. Scaled dot-product attention и Transformer blocks
3. Encoder/decoder, BERT/GPT-подходы, оценка и генерация

Термины модуля: глоссарий.

Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно уметь связать с кодом и наблюдаемым поведением модели.

Задания

• assignments/01_attention.md — Self-attention с нуля
• assignments/02_tiny_lm.md — Маленькая языковая модель
• assignments/03_text_classifier.md — Классификатор на Transformer

Завершение модуля

Модуль завершён, когда все задания удовлетворяют критериям приёмки, вы можете объяснить основные решения без ноутбука и получили review.