# LoRA fine-tuning малой модели

## Теория перед выполнением

Прочитайте [SFT и маскирование loss](../notes/01_pretraining_instruction_data.md) и
[LoRA/QLoRA и quantization](../notes/02_full_finetuning_lora_qlora.md).

## Цель

Дообучить доступную компактную open-weight модель через PEFT/LoRA.

## Что сделать

1. Сформулировать ожидаемый результат до запуска эксперимента.
2. Реализовать простой baseline.
3. Реализовать основной метод самостоятельно настолько, насколько требует задание.
4. Добавить автоматические проверки ключевых вычислений.
5. Провести эксперимент, сохранить метрики и примеры ошибок.
6. Заполнить отчёт по `common/REPORT_TEMPLATE.md`.

## Результат

Конфиг, адаптер, логи, примеры до/после и оценка ресурсов.

Решение разместите рядом в `solution/`. Не коммитьте большие данные,
веса или секреты.

## Критерии приёмки

- Есть baseline и held-out evaluation; эксперимент воспроизводим в доступном железе.
- Код читаем, разбит на функции и запускается по инструкции.
- Выводы подтверждаются измерениями и не выходят за пределы эксперимента.

## Вопросы для самопроверки

- Почему выбран именно этот метод и какой baseline он должен превзойти?
- Где здесь возможна утечка данных или некорректная оценка?
- Как изменится результат при других данных или ограничениях?
- Какую ошибку модели вы считаете наиболее важной и почему?