Основы байесовского вывода 2025

Введение. История AI. Что такое машинное обучение, какие задачи оно решает. Байесовский подход в машинном обучении, теорема Байеса и её интерпретация.

Основные задачи байесовского вывода. Решения этих задач для монетки (испытаний Бернулли). Сопряжённые априорные распределения, бета-распределение как сопряжённое для монетки. Априорные распределения и разреженность, кубик вместо монетки. Житейские примеры теоремы Байеса.

Метод наименьших квадратов, вероятностные предположения линейной регрессии, выделение признаков, оверфиттинг и регуляризация

Геометрический смысл регуляризации. Байесовский вывод в линейной регрессии, его наглядные иллюстрации. Вывод предсказательного распределения в линейной регрессии.

Постановка задачи классификации, её геометрия. Линейный дискриминант Фишера. Порождающие модели и оптимальный байесовский классификатор; пример: LDA и QDA. Идея логистической регрессии

Логистическая регрессия: максимизация правдоподобия, куда смотрит градиент; метод второго порядка и IRLS; мультиклассовая логистическая регрессия. Вывод предсказательного распределения через лапласовские аппроксимации.

Метод ближайших соседей. Проклятие размерности. Статистическая теория принятия решений, функция регрессии. Разложение bias-variance-noise и его смысл.

Байесовский вывод для обоих параметров гауссиана: для постоянного τ, постоянного μ, в случае, когда μ и τ меняются. Как маргинализация μ и предсказательное распределение приводят к распределению Стьюдента.

Выбор моделей как сравнение p(D). О дивергенции Кульбака-Лейблера. Байесовский информационный критерий (BIC). Эмпирический байес: идея, подсчёт p(D).

Эмпирический байес: напоминание, итеративная оптимизация α и β. Об информации Фишера. AIC: идея, оценка смещения, вывод TIC и AIC

Как подсчитать вражеские танки по серийным номерам? Байесовский взгляд на вещи, improper priors, примеры. Метод Линкольна-Петерсена, его предположения и уточнения.

Эдвин Джейнс и его книги. Как выбрать априорное распределение: равномерное, обрезанное равномерное, неинформативное. Распределение биномиальных обезьян.

Что такое энтропия и почему её максимизируют. Примеры. Априорные распределения Джеффриса: общая идея, монетка и гауссиан, многомерный случай.

Экспоненциальное семейство, его свойства. Байесовский вывод в экспоненциальном семействе. Обобщённые линейные модели, пуассоновская регрессия

Идея SVM, выпуклые оболочки и максимизация зазора; что делать, если классы неразделимы. Задача оптимизации в SVM. Kernel trick

Эквивалентное ядро в линейной регрессии. Ядерные методы, пример. Метод релевантных векторов.