43 lines
4.4 KiB
Markdown
43 lines
4.4 KiB
Markdown
# Глоссарий модуля 14
|
||
|
||
- **Abstention** — осознанный отказ системы отвечать при недостатке оснований.
|
||
- **Adapter** — небольшой набор обучаемых параметров поверх замороженной модели.
|
||
- **Catastrophic forgetting** — ухудшение ранее освоенных способностей при
|
||
адаптации к новым данным.
|
||
- **Chunk** — индексируемый фрагмент документа в RAG.
|
||
- **Continued pretraining** — продолжение LM-pretraining на новом корпусе.
|
||
- **Data curation** — сбор, очистка, дедупликация, проверка и версионирование данных.
|
||
- **Dense retrieval** — поиск по близости обученных плотных embeddings.
|
||
- **DPO** — preference objective, повышающий относительную вероятность
|
||
предпочитаемых ответов без отдельного RL-цикла.
|
||
- **Full fine-tuning** — обновление всех параметров предобученной модели.
|
||
- **Grounding** — привязка ответа к заданным проверяемым источникам.
|
||
- **Hallucination** — правдоподобное, но ложное или неподдержанное утверждение.
|
||
- **Hit@k** — доля запросов хотя бы с одним релевантным результатом в top-k.
|
||
- **Instruction tuning** — supervised-обучение следовать инструкциям.
|
||
- **LLM-as-judge** — использование модели для оценки ответов по rubric.
|
||
- **LoRA** — низкоранговая параметризация обновления матрицы
|
||
\(\Delta\mathbf W=\alpha\mathbf B\mathbf A/r\).
|
||
- **MRR** — среднее обратного ранга первого релевантного результата.
|
||
- **nDCG@k** — нормированная ранговая метрика с graded relevance.
|
||
- **NF4** — 4-битный формат квантования, применяемый в QLoRA.
|
||
- **PEFT** — parameter-efficient fine-tuning, адаптация малым числом параметров.
|
||
- **Post-training quantization** — квантование уже обученной модели.
|
||
- **Precision@k** — доля релевантных документов среди первых \(k\).
|
||
- **Pretraining** — масштабное исходное обучение модели на общем objective.
|
||
- **Prompt injection** — инструкция во входе, пытающаяся изменить доверенное
|
||
поведение модели; бывает прямой и косвенной через документы.
|
||
- **Provenance** — происхождение данных и история преобразований.
|
||
- **QLoRA** — LoRA-обучение поверх замороженной 4-bit базовой модели.
|
||
- **Quantization** — представление весов/активаций малым числом уровней.
|
||
- **RAG** — retrieval-augmented generation, генерация с извлечённым контекстом.
|
||
- **Recall@k** — доля всех релевантных документов, найденных в top-k.
|
||
- **Reranker** — более точная модель повторной сортировки кандидатов.
|
||
- **RLHF** — alignment с человеческими предпочтениями через reward model и RL.
|
||
- **RRF** — reciprocal rank fusion, объединение нескольких ранжирований.
|
||
- **SFT** — supervised fine-tuning на эталонных входах и ответах.
|
||
- **Sparse retrieval** — лексический поиск по разреженным признакам, например BM25.
|
||
- **Teacher model** — модель, создающая метки/данные или сигнал distillation.
|
||
- **Train–test leakage** — попадание информации test в обучение или настройку.
|
||
- **Weight-only quantization** — квантование весов при более точных активациях.
|