GAS: улучшение генерации диффузионной модели при малом числе шагов

Семинар BayesGroup «GAS: улучшение генерации диффузионной модели при малом числе шагов» от 10.06.2025. Докладчик: Александр Оганов (НИУ ВШЭ) В области генеративного моделирования диффузионные модели показали, что генерация изображений может быть качественной и разнообразной. Главным недостатком современных моделей является долгое сэмплирование, так как для качественной генерации требуется большое число шагов (вызов нейронной сети). Одним из способов ускорения генерации является разработка специальных солверов обыкновенных дифференциальных уравнений (ОДУ). В недавних работах был предложен способ дистилляции солвера учителя с большим числом шагов в солвера студента, который использует меньшее число шагов. Мы предлагаем Generalized Solver (GS) — новую и эффективную параметризацию солвера, которую обучаем с учетом данных и обученной диффузионной модели. Без специальных техник в обучении GS достигает лучшего качества, чем существующие методы. Кроме того, мы объединили стандартную задачу дистилляции с состязательным обучением, что позволило дополнительно улучшить качество. Generalized Adversarial Solver (GAS) использует эффективную параметризацию, состязательное обучение и показывает лучшее качество при генерации за малое число шагов.