4.4 KiB
4.4 KiB
Глоссарий модуля 14
- Abstention — осознанный отказ системы отвечать при недостатке оснований.
- Adapter — небольшой набор обучаемых параметров поверх замороженной модели.
- Catastrophic forgetting — ухудшение ранее освоенных способностей при адаптации к новым данным.
- Chunk — индексируемый фрагмент документа в RAG.
- Continued pretraining — продолжение LM-pretraining на новом корпусе.
- Data curation — сбор, очистка, дедупликация, проверка и версионирование данных.
- Dense retrieval — поиск по близости обученных плотных embeddings.
- DPO — preference objective, повышающий относительную вероятность предпочитаемых ответов без отдельного RL-цикла.
- Full fine-tuning — обновление всех параметров предобученной модели.
- Grounding — привязка ответа к заданным проверяемым источникам.
- Hallucination — правдоподобное, но ложное или неподдержанное утверждение.
- Hit@k — доля запросов хотя бы с одним релевантным результатом в top-k.
- Instruction tuning — supervised-обучение следовать инструкциям.
- LLM-as-judge — использование модели для оценки ответов по rubric.
- LoRA — низкоранговая параметризация обновления матрицы
\Delta\mathbf W=\alpha\mathbf B\mathbf A/r. - MRR — среднее обратного ранга первого релевантного результата.
- nDCG@k — нормированная ранговая метрика с graded relevance.
- NF4 — 4-битный формат квантования, применяемый в QLoRA.
- PEFT — parameter-efficient fine-tuning, адаптация малым числом параметров.
- Post-training quantization — квантование уже обученной модели.
- Precision@k — доля релевантных документов среди первых
k. - Pretraining — масштабное исходное обучение модели на общем objective.
- Prompt injection — инструкция во входе, пытающаяся изменить доверенное поведение модели; бывает прямой и косвенной через документы.
- Provenance — происхождение данных и история преобразований.
- QLoRA — LoRA-обучение поверх замороженной 4-bit базовой модели.
- Quantization — представление весов/активаций малым числом уровней.
- RAG — retrieval-augmented generation, генерация с извлечённым контекстом.
- Recall@k — доля всех релевантных документов, найденных в top-k.
- Reranker — более точная модель повторной сортировки кандидатов.
- RLHF — alignment с человеческими предпочтениями через reward model и RL.
- RRF — reciprocal rank fusion, объединение нескольких ранжирований.
- SFT — supervised fine-tuning на эталонных входах и ответах.
- Sparse retrieval — лексический поиск по разреженным признакам, например BM25.
- Teacher model — модель, создающая метки/данные или сигнал distillation.
- Train–test leakage — попадание информации test в обучение или настройку.
- Weight-only quantization — квантование весов при более точных активациях.