Введение в глубокое обучение 2026

Как устроен биологический нейрон и вычисления в мозге. Модель одного нейрона, функции активации: сигмоиды, ReLU, Swish. Коннекционизм и сеть как граф вычислений. Идея градиентного спуска, почему не методы второго порядка, стохастический градиентный спуск.

Что такое (стохастический) градиентный спуск. Плохие примеры для SGD. Метод моментов и моменты Нестерова. Адаптивные варианты SGD: AdaGrad, RMSprop, Adam.

Регуляризация в нейросетях. Полносвязные сети. Идея свёрточных сетей, веса и геометрия свёрток, пулинг. Структура классических CNN, разбор примера LeNet.

Идеи свёрточных архитектур: AlexNet и аугментация данных, VGG, network in network, Inception, остаточные связи и ResNet, Bottlenecks и split-transform-merge, Парето-фронтиры и EfficientNet.

Задачи с последовательностями. Рекуррентные сети, двунаправленные RNN, проблемы с распространением градиента. LSTM, GRU и другие варианты рекуррентных ячеек.

Архитектуры типа кодировщик-декодировщик, автокодировщики, проблемы таких архитектур. Идея внимания, нейробиология и мотивация, рекуррентные механизмы внимания, внимание в encoder-decoder архитектурах.

Общая схема трансформера и его слоёв. Как работает информационный поиск и как эти идеи используются в механизме self-attention. Другие части трансформера, позиционные вложения.

Первый трансформер, его результаты. Режем трансформер пополам: BERT и GPT. Трансформеры в компьютерном зрении: VisualBERT, ViT, Swin. Case study: трансформеры в сегментации. Мультимодальные представления: CLIP и BLIP.

Идеи обучения с подкреплением. Многорукие бандиты: простые алгоритмы, regret и его минимизация, UCB. Подсчёт средних и EMA. Другие постановки задач о бандитах.

Напоминание об обучении с подкреплением. Функции значений и уравнения Беллмана. В чём здесь проблемы и как их решают: таксономия методов RL.

Языковые модели: марковские, нейросетевые LM и представления слов, рекуррентные LM, LLM на трансформерах. Дообучение: RLHF, адаптеры и LoRA.

Физическое масштабирование (закон Мура и т.п.). Законы масштабирования для нейросетей. Chain-of-thought методы. Как работают рассуждающие модели.

Таймлайны и путь к AGI. Нынешний фронтир LLM, догоняет ли open source. Situational awareness: алгоритмический прогресс и unhobbling. Примеры возможностей: роботика, картинки, видео, программирование, Claude Code, график time horizon от METR. AI в математике и других науках.