2.5 KiB
2.5 KiB
Транскрибация речи
Теория перед выполнением
Прочитайте STFT и log-mel и CTC, encoder-decoder и оценку ASR.
Цель
Построить pipeline «аудиофайл → нормализованный текст» на предобученной модели и понять, когда нужен fine-tuning.
Что сделать
- Подготовить 20–30 коротких записей с эталонными текстами: собственную речь либо
открытый датасет из
DATASETS.md. - Привести аудио к ожидаемым sample rate/channels без потери исходников.
- Запустить компактную предобученную ASR-модель, например Whisper.
- Реализовать разбиение длинной записи на chunks и объединение результата.
- Посчитать WER и CER до и после нормализации регистра/пунктуации.
- Исследовать ошибки на шуме, числах, именах и профессиональных терминах.
- Сформулировать, помогут ли prompt, словарь, более крупная модель или fine-tuning.
Результат
CLI transcribe <audio>, JSON с сегментами/таймкодами, отчёт с WER/CER и каталогом
типичных ошибок.
Критерии приёмки
- Метрики считаются относительно скрытой от подбора части записей.
- Исходный и нормализованный тексты не смешиваются при оценке.
- Для длинной записи не теряются и не дублируются слова на границах chunks.
- Разрешение на обработку голосов и лицензия датасета документированы.
Дополнительное задание
Если доступно достаточно размеченного аудио и GPU, адаптировать маленькую модель или её часть к узкой терминологии и сравнить с исходной моделью на одном test-set.