Глубокое обучение 2026

Устройство курса и введение в глубокое обучение: вероятностный смысл функций ошибки, нейросети как графы вычислений, обратное распространение ошибки и SGD. Dropout, инициализация Xavier и He, BatchNorm, LayerNorm и InstanceNorm.

Идея свёрточных нейронных сетей и её связь с исследованиями зрительной коры. Локальные фильтры, разделение весов, пулинг и рост рецептивного поля; устройство свёрточного слоя, градиенты, padding и stride. Архитектуры LeNet и AlexNet, ImageNet, параллелизм по модели и по данным, аугментация изображений.

Идеи свёрточных архитектур: визуализация извлекаемых признаков, небольшие фильтры VGG, Network in Network и блоки Inception, вспомогательные классификаторы, остаточные связи ResNet. Экономия параметров через bottleneck и split-transform-merge, ResNeXt и MobileNet. Автоматический поиск архитектур и совместное масштабирование глубины, ширины и разрешения в EfficientNet. Объяснения и вычисления на доске.