38 lines
2.1 KiB
Markdown
38 lines
2.1 KiB
Markdown
# Модуль 13. NLP, attention и Transformers
|
||
|
||
Плановый срок: **недели 30–32**.
|
||
|
||
## Предварительные знания
|
||
|
||
Матричное умножение, softmax/cross-entropy и backpropagation из
|
||
[модуля 09](../09_neural_networks/README.md), базовые PyTorch и обработка строк.
|
||
|
||
## Цели
|
||
|
||
- понимать токенизацию, эмбеддинги и attention
|
||
- реализовать упрощённый Transformer и обучить малую языковую модель
|
||
- правильно оценивать модели текста
|
||
|
||
## Уроки
|
||
|
||
1. [Tokenization, embeddings, positional information и language modeling](notes/01_tokenization_embeddings_language_modeling.md)
|
||
2. [Scaled dot-product attention и Transformer blocks](notes/02_attention_and_transformer_block.md)
|
||
3. [Encoder/decoder, BERT/GPT-подходы, оценка и генерация](notes/03_architectures_evaluation_generation.md)
|
||
|
||
Термины модуля: [глоссарий](notes/glossary.md).
|
||
|
||
Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
|
||
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
|
||
уметь связать с кодом и наблюдаемым поведением модели.
|
||
|
||
## Задания
|
||
|
||
- [`assignments/01_attention.md`](assignments/01_attention.md) — Self-attention с нуля
|
||
- [`assignments/02_tiny_lm.md`](assignments/02_tiny_lm.md) — Маленькая языковая модель
|
||
- [`assignments/03_text_classifier.md`](assignments/03_text_classifier.md) — Классификатор на Transformer
|
||
|
||
## Завершение модуля
|
||
|
||
Модуль завершён, когда все задания удовлетворяют критериям приёмки,
|
||
вы можете объяснить основные решения без ноутбука и получили review.
|