Глубокое обучение 2025

Свёрточные сети: биологическая мотивация, основные идеи, LeNet и экономия весов, AlexNet и аугментация данных, интерпретация признаков.

Архитектурные идеи свёрточных сетей: VGG, Inception, остаточные связи, bottlenecks и split-transform-merge, EfficientNet. Состязательные примеры и состязательная аугментация.

Постановка задачи и сложности с её формализацией, семейство R-CNN, R-FCN, YOLO, YOLOv2

Проблема с масштабом в распознавании объектов. Пирамиды признаков: FPN, RetinaNet, EfficientDet. Введение в сегментацию. Semantic segmentation: от FCN до U-Net и его вариантов. Instance segmentation: DeepMask, Mask R-CNN

Состязательные примеры. Напоминание о рекуррентных сетях. Что такое внимание. Ранние механизмы внимания, рекуррентное внимание. Encoder-decoder with attention.

Трансформер как encoder-decoder архитектура. Слой самовнимания (self-attention) по идее информационного поиска; masked self-attention и encoder-decoder attention в декодере. Токенизация и byte-pair encoding. Позиционные вложения. Преимущества и недостатки трансформеров.

Базовые архитектуры: VisualBERT, ViT, Swin Transformer. Распознавание объектов: DETR, DINO и другие; идея архитектур Perceiver. Сегментация медицинских снимков: U-Net с трансформерами. Мультимодальные латентные пространства: CLIP и BLIP.

Порождающие и дискриминирующие модели: сходства и различия. Таксономия глубоких порождающих моделей. Ранние авторегрессивные модели: MADE, PixelRNN, PixelCNN, WaveNet. Идея GAN и постановка их задачи.

Ранние GAN'ы, DCGAN. ProGAN. Функции ошибки: LSGAN, Wasserstein GAN. AAE, условные GAN'ы. Case study: перенос стиля

Автокодировщики и порождающие модели. Идея вариационного автокодировщика, вариационное приближение в VAE. Вывод функций ошибки, reparametrization trick.

Доклад Захара Варфоломеева на научном семинаре лаборатории Маркова.

От VAE к VQ-VAE. dVAE: Gumbel-Max и Gumbel-Softmax. DALL-E: структура и обучение. Нейросетевой информационный поиск: контрастивные ошибки и triplet loss, ошибки на основе softmax и NCE. Пример: STIR и переранжирование выдачи.

Гостевая лекция на "Студкемпе по математике AI", проводившемся силами ФМКН СПбГУ в ноябре 2025: введение о порождающих моделях, идея диффузионных моделей, вариационные приближения вообще и в диффузионных моделях в частности, DDPM и DDIM, диффузия в латентном пространстве.

Вариационное приближение и функция ошибки, DDPM. DDIM: другой процесс зашумления, вариационная оценка в DDIM, почему DDIM - это хорошо. Stable Diffusion и так далее, последние новости

Идея flow-based models. Варианты: RealNVP, MAF, IAF, их двойственность. Параллельная дистилляция. Дальнейшее развитие потоковых моделей.

Остаточные и непрерывные нормализующие потоки, идея flow matching. Введение в большие языковые модели: что это такое, законы масштабирования, почему прогресс пока не останавливается.

RLHF и его особенности. Дообучение LLM с учителем, LoRA. Расширение длины контекста, линейные трансформеры. Needle in a haystack. RAG, R[e]aLM и графы знаний в LLM

Рассуждающие модели. О возможностях LLM, LLM в науке, последние новости. Экзистенциальные риски и AI safety.