# Модуль 11. Звук, речь и музыка

Плановый срок: **недели 24–26**.

## Предварительные знания

Массивы и визуализация в Python, базовая тригонометрия, нейросети и
backpropagation из [модуля 09](../09_neural_networks/README.md).

## Цели

- понимать waveform, sample rate, частоту, амплитуду и спектр
- строить STFT, mel-spectrogram и признаки для речи/музыки
- транскрибировать запись и оценивать качество через WER/CER
- находить tempo, beats и onsets для генерации черновика карты osu!

## Уроки

1. [Дискретный звук: sampling, aliasing, channels и PCM](notes/01_discrete_audio.md).
2. [Fourier transform, STFT, mel scale и spectrogram](notes/02_spectral_analysis.md).
3. [Распознавание речи: CTC, encoder-decoder и Whisper](notes/03_speech_recognition.md).
4. [Музыкальные события: BPM, beats, onsets и tempogram](notes/04_music_events.md).
5. [Формат `.osu`, timing points и hit objects](notes/05_osu_mapping.md).

Термины модуля: [глоссарий](glossary.md).

Предобученная модель речи уже видела много часов аудио и выучила связь спектральных
паттернов с фонемами и словами. Поэтому для обычной транскрибации сначала используют
inference готовой модели; fine-tuning нужен при особом языке, шуме, акценте или
профессиональной терминологии и требует размеченных пар «аудио → текст».

Автоматическая карта osu! в этом курсе — **черновик**, а не обещание качественного
маппинга одной кнопкой. Детектор предлагает ритмические позиции, а человек проверяет
структуру композиции, играбельность и художественные решения.

## Задания

- [`assignments/01_audio_features.md`](assignments/01_audio_features.md) — Спектр, tempo и события
- [`assignments/02_transcription.md`](assignments/02_transcription.md) — Транскрибация речи
- [`assignments/03_osu_beatmap.md`](assignments/03_osu_beatmap.md) — Черновик карты osu! из музыки

## Завершение модуля

Модуль завершён, когда вы можете объяснить переход waveform → spectrogram →
признаки/модель, измерить ошибки транскрибации и получить валидный `.osu`-файл,
ритмически связанный с выбранной композицией.