ai_learning/THEORY_INDEX.md

Индекс теоретических материалов

Здесь собраны все 59 конспектов модулей 00–17 и четыре общие фундаментальные главы. Читайте конспекты офлайн по порядку, затем переходите к заданиям соответствующего модуля. Обозначения сверяйте с common/NOTATION.md, термины — с GLOSSARY.md.

Общие фундаментальные главы

Рекомендуемый порядок:

1. Дифференциальное и матричное исчисление
   Предпосылки: школьная алгебра, обозначения.
2. Численная устойчивость
   Предпосылки: базовая алгебра и представление чисел в компьютере.
3. Сложность и вычисления
   Предпосылки: базовый Python.
4. Теория информации
   Предпосылки: модуль 03 или базовая теория вероятностей.

Шаблон новых конспектов: common/NOTE_TEMPLATE.md. Он включает мотивацию, интуицию, определения, выводы, пример, связь с Python, ошибки, резюме и связанные материалы — без вопросов для самопроверки.

Модули 00–17

00. Среда и Git

Предпосылки: отсутствуют.

1. Python-окружения, зависимости и устройство проекта
2. Git: коммиты, ветки, diff и исключение больших данных
3. Jupyter и модули: seed, конфигурация и логирование

01. Python и NumPy

Предпосылки: модуль 00; полезна глава о сложности.

1. Функции, классы, итераторы, comprehensions и исключения
2. Массивы NumPy: shape, axis, dtype, indexing и broadcasting
3. Векторизация, сложность, профилирование и модульные тесты

02. Линейная алгебра

Предпосылки: модуль 01; обозначения и базовая алгебра.

1. Векторы, нормы, скалярное произведение, проекции и косинус
2. Матрицы, ранг, обратная матрица и системы уравнений
3. Собственные значения, SVD, обусловленность и мост к PCA

03. Вероятность и статистика

Предпосылки: модули 01–02.

1. Вероятность, Байес, ожидание и распределения
2. Выборки, LLN, CLT, bootstrap и доверительные интервалы
3. Проверка гипотез, p-value, мощность и A/B-тесты

04. Оптимизация

Предпосылки: модули 02–03; глава об исчислении.

1. Производные, градиент и поверхности потерь
2. GD, SGD, momentum, RMSProp и Adam
3. L1, L2, Elastic Net, early stopping и bias–variance

05. Данные и визуализация

Предпосылки: модули 01 и 03.

1. pandas и качество табличных данных
2. Распределения, выбросы, зависимости и визуальная честность
3. Feature engineering, pipelines и data leakage

06. Классический ML

Предпосылки: модули 02–05; глава о теории информации.

1. Разбиения данных, кросс-валидация и baseline
2. Линейные модели, kNN, Naive Bayes и SVM
3. Метрики, пороги, калибровка и дисбаланс

07. Деревья и бустинг

Предпосылки: модули 05–06.

1. Дерево решений: критерии разбиения и pruning
2. Bagging, Random Forest и out-of-bag оценка
3. Градиентный бустинг

08. Unsupervised learning

Предпосылки: модули 02–06.

1. Классификация и кластеризация
2. k-means, иерархическая кластеризация и DBSCAN
3. PCA, t-SNE, UMAP и визуализация размерности
4. Поиск аномалий без надёжной разметки

09. Нейросети

Предпосылки: модули 02–04 и 06; главы об исчислении и устойчивости.

1. Перцептрон, MLP, XOR и универсальная аппроксимация
2. Вычислительные графы, backpropagation и autodiff
3. Активации, инициализация, нормализация и dropout

10. Computer Vision

Предпосылки: модуль 09; модули 05–06 для данных и оценки.

1. Свёртки, pooling, augmentation и CNN
2. LeNet, AlexNet, VGG, ResNet и skip connections
3. ImageNet pretraining, transfer learning и fine-tuning
4. Выбор архитектуры под качество, данные, latency и память
5. Основы detection и segmentation

11. Звук, речь и музыка

Предпосылки: модули 02–03 и 09.

1. Дискретный звук: sampling, aliasing, channels и PCM
2. Fourier transform, STFT, mel-спектрограммы и augmentation
3. Распознавание речи: рекуррентные сети, CTC, encoder-decoder и Whisper
4. Музыкальные события: tempo, beat, onset и tempogram
5. Формат .osu, timing points, hit objects и сложность

12. Рукописный текст

Предпосылки: модули 09–10; глава о теории информации.

1. Латентные модели: autoencoder и VAE
2. GAN и diffusion: цели, обучение и типичные сбои
3. Условная генерация глифов, композиция строк и читаемость

13. NLP и Transformers

Предпосылки: модули 03–04 и 09; глава о теории информации.

1. Токенизация, эмбеддинги и причинное языковое моделирование
2. Scaled dot-product attention, multi-head attention и Transformer-блок
3. Encoder/decoder, BERT и GPT, perplexity и генерация

14. Fine-tuning LLM

Предпосылки: модуль 13.

1. Pretraining, instruction tuning и подготовка данных
2. Full fine-tuning, LoRA, QLoRA, quantization и забывание
3. Оценка LLM, галлюцинации, RAG, безопасность и лицензии

15. ML Engineering

Предпосылки: модули 00–06 и один прикладной модуль 10–14.

1. Production-проект: структура, конфигурация, контракты и тесты
2. Инференс: batch, online API, Docker, ONNX и эксплуатационные свойства
3. Model registry, experiment tracking и CI

16. MLOps

Предпосылки: модуль 15 и опыт обучения хотя бы одной модели.

1. Experiment tracking, artifacts, lineage и версионирование
2. Data drift, concept drift, observability и delayed labels
3. CI/CD/CT, canary, shadow, rollback и governance

17. Capstone

Предпосылки: модули 00–16; допускается выбрать профильную ветку 10–14.

1. Постановка задачи, ограничения, baseline и план экспериментов
2. Воспроизводимое исследование, обучение и error analysis
3. Сервис, документация, demo, model card и защита проекта