Графические вероятностные модели 2026
Это курс о вероятностных моделях, алгоритмах приближённого байесовского вывода и обучении с подкреплением, представленный на Факультете математики и компьютерных наук Санкт-Петербургского государственного университета весной 2026 года.
Деревья принятия решений, бустинг, XGBoost
13 февраля 2026 г.
Деревья принятия решений, бустинг, XGBoost
13 февраля 2026 г.
Деревья принятия решений и как их обучают. Методы объединения моделей: блендинг, mixture-of-experts, комитет. Ошибка комитета, бутстраппинг, бэггинг. Бустинг: AdaBoost, его анализ, градиентный бустинг, XGBoost.
Кластеризация, EM-алгоритм, примеры и расширения EM
27 февраля 2026 г.
Кластеризация, EM-алгоритм, примеры и расширения EM
27 февраля 2026 г.
Задача кластеризации, классические алгоритмы, Смеси распределений, EM для обучения параметров смеси. EM в общем виде, идея minorization-maximization. Примеры, выбор моделей, k-means. История и первый пример EM. Пример: кластеризация строк. Расширения и варианты EM
Примеры EM-алгоритма
6 марта 2026 г.
Примеры EM-алгоритма
6 марта 2026 г.
Примеры EM-алгоритма: модели Брэдли-Терри, presence-only data и проспективные и ретроспективные исследования, рейтинг спортивного ЧГК. Цепи Маркова в машинном обучении. Скрытые марковские модели: идея и задачи.
Скрытые марковские модели, идея графических моделей
13 марта 2026 г.
Скрытые марковские модели, идея графических моделей
13 марта 2026 г.
Скрытые марковские модели, три задачи и их решения, от p(D|\theta) до алгоритма Баума-Уэлча, расширения и варианты HMM, HMM в распознавании речи. Графические вероятностные модели: идея и примеры.
Графические модели, фактор-графы, алгоритм передачи сообщений
20 марта 2026 г.
Графические модели, фактор-графы, алгоритм передачи сообщений
20 марта 2026 г.
Направленные графические модели, d-разделимость. Ненаправленные графические модели. Фактор-графы, вывод на фактор-графе в виде цепочки. Алгоритм передачи сообщений в общем виде. Таксономия методов приближённого вывода
Сэмплирование
27 марта 2026 г.
Сэмплирование
27 марта 2026 г.
Сэмплирование в машинном обучении: простые методы, выборка с отклонением, выборка с весами значимости. MCMC-методы: алгоритм Метрополиса-Гастингса, сэмплирование по Гиббсу, slice sampling
SIR-модели в эпидемиологии и ELBO
3 апреля 2026 г.
SIR-модели в эпидемиологии и ELBO
3 апреля 2026 г.
SIR-модели: идея, правдоподобие и постановка задачи, стохастический алгоритм Витерби, обучение параметров и ещё один EM, примеры и расширения. Другой взгляд на EM-алгоритм и идея вариационных приближений.
Примеры вариационных приближений
10 апреля 2026 г.
Примеры вариационных приближений
10 апреля 2026 г.
Когда q(Z) раскладывается в произведение. Примеры вариационных приближений: двумерный гауссиан, обучение одномерного гауссиана, обучение смеси гауссианов.
Наивный Байес и тематическое моделирование
17 апреля 2026 г.
Наивный Байес и тематическое моделирование
17 апреля 2026 г.
Наивный байес, его предположения. Снимаем предположения: кластеризация текстов, суть тематического моделирования, pLSI / LSA, ARTM. Суть модели LDA, постановка задачи, вариационный вывод с фиксированным Φ и общий алгоритм.
Expectation Propagation и TrueSkill
24 апреля 2026 г.
Expectation Propagation и TrueSkill
24 апреля 2026 г.
Сжатое сэмплирование по Гиббсу в LDA. Расширения LDA. Обзор приближённого вероятностного вывода в целом. Метод Expectation Propagation; пример: система TrueSkill.
Многорукие бандиты и введение в RL
8 мая 2026 г.
Многорукие бандиты и введение в RL
8 мая 2026 г.
Что такое обучение с подкреплением. Многорукие бандиты: основы, regret и оптимизм при неопределённости, другие варианты постановки задачи. Полноценное RL: функции значений, уравнения Беллмана и проблемы с ними, policy improvement theorem и policy iteration.
Методы Монте-Карло в RL и TD обучение
15 мая 2026 г.
Методы Монте-Карло в RL и TD обучение
15 мая 2026 г.
Методы Монте-Карло в RL: идея, оценки, on-policy vs. off-policy MC control, пример с бесконечной дисперсией. TD-обучение: идея, оценки, on-policy TD control (Sarsa), off-policy TD control (Q-обучение). Afterstates.
Приближенное RL, градиент по стратегиям, планирование
22 мая 2026 г.
Приближенное RL, градиент по стратегиям, планирование
22 мая 2026 г.
Приближённое RL: полуградиентные методы, the deadly triad, TD-Gammon, напоминание об n-step TD и структуре. Методы градиента по стратегиям: all-actions, REINFORCE, REINFORCE с baseline'ом. Actor-critic алгоритмы: базовый, TRPO, PPO, GRPO. Планирование: деревья поиска, MCTS и AlphaZero.
Введение в глубокое обучение
29 мая 2026 г.
Введение в глубокое обучение
29 мая 2026 г.
Это лекция из курса "Графические вероятностные модели", который читается на ФМКН СПбГУ весной 2026 года. Все материалы этой и других лекций курса (слайды, доска, ноутбуки с кодом) размещены по адресу: https://www.sergeynikolenko.ru/courses/pgm2026 Подписывайтесь на мой телеграм-канал "Sineкура": https://t.me/sinecor Разделы: 00:00 Биологическая мотивация: как работает мозг 23:53 Первые нейросети, перцептрон 49:45 Функции активации 01:17:00 Backpropagation 01:48:27 Перерыв 02:11:18 Стохастический градиентный спуск 02:36:16 Варианты SGD: моменты, NAG, от Adagrad к Adam[W] и дальше