ai_learning/common/MODEL_CARD_TEMPLATE.md

6.0 KiB
Raw Permalink Blame History

Model Card: <название модели> <версия>

Скопируйте файл в проект, заполните все разделы и удалите подсказки в угловых скобках. Если пункт неприменим, укажите причину.

Паспорт версии

  • Model ID / версия: <immutable ID, hash или registry URI>
  • Статус / alias: <candidate | champion | archived>
  • Дата: <ГГГГ-ММ-ДД>
  • Владельцы: <модель, данные, сервис, бизнес-решение>
  • Код: <commit/tag>
  • Данные: <snapshot/manifest ID>
  • Артефакт: <URI и checksum>
  • Одобрение: <кто, когда, ссылка на решение>

Назначение

  • Пользователи: <кто применяет результат>
  • Решение: <какое действие поддерживает предсказание>
  • Unit of prediction: <объект одного предсказания>
  • Режим: <batch | online | on-device>
  • Допустимые сценарии: <список>
  • Вне scope: <сценарии, которые не оценивались>
  • Запрещённое применение: <опасные или несогласованные сценарии>

Контракт входа и выхода

  • Входная схема / версия: <ссылка или краткое описание>
  • Выход: <score, класс, uncertainty, версия>
  • Preprocessing: <состав и версия>
  • Threshold / policy: <значение, способ выбора, владелец>
  • Неизвестные и пропущенные значения: <ожидаемое поведение>
  • Ограничения: <batch size, диапазоны, latency/SLO>

Данные

  • Источники и период: <описание>
  • Label и prediction horizon: <определение и версия>
  • Feature cutoff: <момент доступности признаков>
  • Train/validation/test split: <правило, размеры, даты>
  • Лицензия, consent и retention: <условия>
  • Известные пробелы и bias: <непредставленные группы/периоды>
  • Исключённые поля: <PII, leakage, запрещённые признаки>

Модель и обучение

  • Семейство и архитектура: <описание>
  • Baseline: <что сравнивали и почему>
  • Целевая функция: <loss/objective>
  • Ключевые параметры: <ссылка на resolved config>
  • Среда: <lock-файл, image digest, hardware>
  • Training run: <tracker run ID/URL>
  • Стоимость: <время, CPU/GPU, приблизительная стоимость>

Протокол оценки

  • Primary и decision metrics: <определения>
  • Guardrails: <метрики, которые нельзя ухудшать>
  • Размеры выборок: <общий и по важным срезам>
  • Uncertainty: <CI, bootstrap или ограничения оценки>
  • Test policy: <когда и сколько раз использован test>
  • Сравнение с baseline/champion: <ссылка на evidence>

Результаты

  • Общий результат: <метрика: candidate / baseline / champion>
  • Критические срезы: <группа, n, метрика, uncertainty>
  • Калибровка / threshold: <результат>
  • Latency, throughput, RAM: <условия и p50/p95/p99>
  • Не пройденные проверки: <что и почему>

Ограничения и failure modes

  • <условие вне обучающего распределения и ожидаемое поведение>
  • <известная слабая группа или тип ошибки>
  • <cold start, missingness, delayed labels>
  • <зависимости и единичные точки отказа>

Для каждого существенного ограничения укажите влияние, способ обнаружения, fallback и владельца.

Риски

Fairness и вред

<релевантные группы, цена FP/FN, выполненные и отсутствующие проверки>

Privacy и безопасность

<PII, доступ, retention, логирование, атаки, supply-chain меры>

Юридические и продуктовые ограничения

<лицензии, consent, регулирование, human review/appeal>

Эксплуатация

  • Telemetry: <model/data/service versions, метрики, privacy policy>
  • Drift: <reference, окна, признаки, пороги>
  • Качество: <labels, mature cohorts, coverage>
  • Алерты и runbooks: <ссылки, владельцы, severity>
  • Retraining: <триггеры, cooldown, data/quality gates>
  • Rollout: <shadow/canary и критерии остановки>
  • Rollback: <совместимая версия и проверенная процедура>
  • Retirement: <срок review, критерии и удаление>

Воспроизведение и evidence

  • Quickstart: <ссылка>
  • Evaluation report: <ссылка>
  • Slice / error analysis: <ссылка>
  • Load и contract tests: <ссылка>
  • Release checklist: <ссылка>
  • Decision log: <ссылка>

История изменений

  • <ГГГГ-ММ-ДД — версия — изменение — автор>