47 lines
3.0 KiB
Markdown
47 lines
3.0 KiB
Markdown
# Модуль 11. Звук, речь и музыка
|
||
|
||
Плановый срок: **недели 24–26**.
|
||
|
||
## Предварительные знания
|
||
|
||
Массивы и визуализация в Python, базовая тригонометрия, нейросети и
|
||
backpropagation из [модуля 09](../09_neural_networks/README.md).
|
||
|
||
## Цели
|
||
|
||
- понимать waveform, sample rate, частоту, амплитуду и спектр
|
||
- строить STFT, mel-spectrogram и признаки для речи/музыки
|
||
- транскрибировать запись и оценивать качество через WER/CER
|
||
- находить tempo, beats и onsets для генерации черновика карты osu!
|
||
|
||
## Уроки
|
||
|
||
1. [Дискретный звук: sampling, aliasing, channels и PCM](notes/01_discrete_audio.md).
|
||
2. [Fourier transform, STFT, mel scale и spectrogram](notes/02_spectral_analysis.md).
|
||
3. [Распознавание речи: CTC, encoder-decoder и Whisper](notes/03_speech_recognition.md).
|
||
4. [Музыкальные события: BPM, beats, onsets и tempogram](notes/04_music_events.md).
|
||
5. [Формат `.osu`, timing points и hit objects](notes/05_osu_mapping.md).
|
||
|
||
Термины модуля: [глоссарий](glossary.md).
|
||
|
||
Предобученная модель речи уже видела много часов аудио и выучила связь спектральных
|
||
паттернов с фонемами и словами. Поэтому для обычной транскрибации сначала используют
|
||
inference готовой модели; fine-tuning нужен при особом языке, шуме, акценте или
|
||
профессиональной терминологии и требует размеченных пар «аудио → текст».
|
||
|
||
Автоматическая карта osu! в этом курсе — **черновик**, а не обещание качественного
|
||
маппинга одной кнопкой. Детектор предлагает ритмические позиции, а человек проверяет
|
||
структуру композиции, играбельность и художественные решения.
|
||
|
||
## Задания
|
||
|
||
- [`assignments/01_audio_features.md`](assignments/01_audio_features.md) — Спектр, tempo и события
|
||
- [`assignments/02_transcription.md`](assignments/02_transcription.md) — Транскрибация речи
|
||
- [`assignments/03_osu_beatmap.md`](assignments/03_osu_beatmap.md) — Черновик карты osu! из музыки
|
||
|
||
## Завершение модуля
|
||
|
||
Модуль завершён, когда вы можете объяснить переход waveform → spectrogram →
|
||
признаки/модель, измерить ошибки транскрибации и получить валидный `.osu`-файл,
|
||
ритмически связанный с выбранной композицией.
|