38 lines
2.0 KiB
Markdown
38 lines
2.0 KiB
Markdown
# Модуль 14. Fine-tuning и специализированные LLM
|
||
|
||
Плановый срок: **недели 33–35**.
|
||
|
||
## Предварительные знания
|
||
|
||
Токенизация, causal LM, attention и оценка генерации из
|
||
[модуля 13](../13_nlp_transformers/README.md), training loop и базовый PyTorch.
|
||
|
||
## Цели
|
||
|
||
- понимать pretraining, supervised fine-tuning, PEFT/LoRA и quantization
|
||
- готовить качественный датасет инструкций
|
||
- отличать fine-tuning знаний от RAG и выбирать подход
|
||
|
||
## Уроки
|
||
|
||
1. [Pretraining, instruction tuning, preference alignment и data curation](notes/01_pretraining_instruction_data.md)
|
||
2. [Full fine-tuning, LoRA/QLoRA и quantization](notes/02_full_finetuning_lora_qlora.md)
|
||
3. [Evaluation, hallucinations, RAG, безопасность и лицензии](notes/03_evaluation_rag_safety.md)
|
||
|
||
Термины модуля: [глоссарий](notes/glossary.md).
|
||
|
||
Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
|
||
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
|
||
уметь связать с кодом и наблюдаемым поведением модели.
|
||
|
||
## Задания
|
||
|
||
- [`assignments/01_dataset.md`](assignments/01_dataset.md) — Датасет для узкой LLM
|
||
- [`assignments/02_lora.md`](assignments/02_lora.md) — LoRA fine-tuning малой модели
|
||
- [`assignments/03_rag_vs_finetune.md`](assignments/03_rag_vs_finetune.md) — RAG или fine-tuning
|
||
|
||
## Завершение модуля
|
||
|
||
Модуль завершён, когда все задания удовлетворяют критериям приёмки,
|
||
вы можете объяснить основные решения без ноутбука и получили review.
|