ai_learning/modules/11_audio_speech_music/glossary.md

4.3 KiB
Raw Blame History

Глоссарий модуля 11

  • Aliasing — неразличимость разных аналоговых частот после дискретизации; частоты выше Найквиста сворачиваются в представимый диапазон.
  • ASR (automatic speech recognition) — автоматическое преобразование речи в текст.
  • Attention — механизм взвешенного объединения значений по сходству queries и keys.
  • Beat — воспринимаемая позиция регулярного музыкального пульса.
  • Bit depth — число бит для квантованного отсчёта одного PCM-канала.
  • BPM — число beats в минуту; при постоянном tempo \mathrm{BPM}=60000/\mathrm{beatLength}_{ms}.
  • CER — Levenshtein-ошибка на символах, делённая на число символов reference.
  • Channel — синхронная звуковая дорожка, например левый канал stereo.
  • Clipping — ограничение амплитуды порогом с необратимым искажением waveform.
  • CTC — функция обучения последовательностей без покадрового выравнивания, суммирующая пути с blank и повторами.
  • DFT / FFT — дискретное Fourier transform и быстрый алгоритм его вычисления.
  • Downbeat — первая сильная доля такта.
  • Forced alignment — привязка известного transcript к временным интервалам аудио.
  • Frame / hop length — короткий участок сигнала / сдвиг соседних кадров.
  • GRU — gated recurrent unit с update/reset gates.
  • Hit object — circle, slider или spinner в карте osu!.
  • Inherited timing point — timing point osu!, меняющий параметры вроде slider velocity, но не задающий новую BPM-сетку.
  • LSTM — рекуррентная ячейка с cell state и входным, забывающим и выходным воротами.
  • Mel-spectrogram — power-спектрограмма после mel filter bank.
  • Onset — начало акустического события; не обязательно beat.
  • Onset strength envelope — временной ряд спектральной новизны.
  • PCM — представление звука последовательностью квантованных амплитуд.
  • Phase — угол комплексного Fourier-коэффициента.
  • Power spectrum — квадрат magnitude спектра.
  • RNN — сеть, обновляющая скрытое состояние вдоль последовательности.
  • Sample rate — число отсчётов в секунду.
  • Spectral leakage — распределение энергии тона по соседним bins из-за конечного окна.
  • Spectrogram — карта спектральной magnitude или power по времени.
  • STFT — Fourier transform перекрывающихся окон сигнала.
  • Tempo — скорость выбранного уровня музыкального пульса.
  • Tempogram — локальная сила периодичностей onset envelope.
  • Timing point — запись .osu, задающая timing grid или унаследованные параметры.
  • WER — сумма замен, удалений и вставок слов, делённая на число слов reference.
  • Whisper — семейство encoder-decoder Transformer для многоязычного ASR и перевода.
  • Window — весовая функция кадра, управляющая leakage и разрешением.
  • Частота Найквиста — f_s/2, граница уникального диапазона при равномерной дискретизации.