# Модуль 14. Fine-tuning и специализированные LLM

Плановый срок: **недели 33–35**.

## Предварительные знания

Токенизация, causal LM, attention и оценка генерации из
[модуля 13](../13_nlp_transformers/README.md), training loop и базовый PyTorch.

## Цели

- понимать pretraining, supervised fine-tuning, PEFT/LoRA и quantization
- готовить качественный датасет инструкций
- отличать fine-tuning знаний от RAG и выбирать подход

## Уроки

1. [Pretraining, instruction tuning, preference alignment и data curation](notes/01_pretraining_instruction_data.md)
2. [Full fine-tuning, LoRA/QLoRA и quantization](notes/02_full_finetuning_lora_qlora.md)
3. [Evaluation, hallucinations, RAG, безопасность и лицензии](notes/03_evaluation_rag_safety.md)

Термины модуля: [глоссарий](notes/glossary.md).

Для каждого урока: прочитайте теорию, воспроизведите ключевой пример своими
руками и запишите три тезиса без подсказки. Формулы из этого модуля нужно
уметь связать с кодом и наблюдаемым поведением модели.

## Задания

- [`assignments/01_dataset.md`](assignments/01_dataset.md) — Датасет для узкой LLM
- [`assignments/02_lora.md`](assignments/02_lora.md) — LoRA fine-tuning малой модели
- [`assignments/03_rag_vs_finetune.md`](assignments/03_rag_vs_finetune.md) — RAG или fine-tuning

## Завершение модуля

Модуль завершён, когда все задания удовлетворяют критериям приёмки,
вы можете объяснить основные решения без ноутбука и получили review.