ai_learning/modules/11_audio_speech_music

Модуль 11. Звук, речь и музыка

Плановый срок: недели 24–26.

Предварительные знания

Массивы и визуализация в Python, базовая тригонометрия, нейросети и backpropagation из модуля 09.

Цели

• понимать waveform, sample rate, частоту, амплитуду и спектр
• строить STFT, mel-spectrogram и признаки для речи/музыки
• транскрибировать запись и оценивать качество через WER/CER
• находить tempo, beats и onsets для генерации черновика карты osu!

Уроки

1. Дискретный звук: sampling, aliasing, channels и PCM.
2. Fourier transform, STFT, mel scale и spectrogram.
3. Распознавание речи: CTC, encoder-decoder и Whisper.
4. Музыкальные события: BPM, beats, onsets и tempogram.
5. Формат .osu, timing points и hit objects.

Термины модуля: глоссарий.

Предобученная модель речи уже видела много часов аудио и выучила связь спектральных паттернов с фонемами и словами. Поэтому для обычной транскрибации сначала используют inference готовой модели; fine-tuning нужен при особом языке, шуме, акценте или профессиональной терминологии и требует размеченных пар «аудио → текст».

Автоматическая карта osu! в этом курсе — черновик, а не обещание качественного маппинга одной кнопкой. Детектор предлагает ритмические позиции, а человек проверяет структуру композиции, играбельность и художественные решения.

Задания

• assignments/01_audio_features.md — Спектр, tempo и события
• assignments/02_transcription.md — Транскрибация речи
• assignments/03_osu_beatmap.md — Черновик карты osu! из музыки

Завершение модуля

Модуль завершён, когда вы можете объяснить переход waveform → spectrogram → признаки/модель, измерить ошибки транскрибации и получить валидный .osu-файл, ритмически связанный с выбранной композицией.