Что на самом деле разделяет авторегрессию и диффузию? Синтез и путь вперед

Цзясинь Ши (Мета) https://simons.berkeley.edu/talks/jiaxin-shi-meta-2026-08-06 Диффузионное генеративное моделирование: прогресс и следующие шаги Современный генеративный ИИ часто рассматривается через призму двух доминирующих парадигм: авторегрессионных моделей, лежащих в основе большей части языкового моделирования, и диффузионных моделей, которые установили стандарт для высококачественного синтеза изображений и видео. Эти парадигмы обычно рассматриваются как принципиально разные: авторегрессионные модели связаны со сжатием и последовательными вычислениями, в то время как диффузионные модели связаны с качеством перцептивных сэмплов и параллельной генерацией. В этом докладе я буду утверждать, что это разделение менее фундаментально, чем может показаться. Я буду использовать маскированные диффузионные модели (MDM) в качестве линзы: этот класс дискретных диффузионных моделей теоретически эквивалентен авторегрессионным моделям случайного порядка. С этой точки зрения, многие эмпирические различия между авторегрессией и диффузией, такие как параллелизм и качество восприятия, возникают не из-за принципиального различия между самими классами моделей, а из-за деталей спецификации модели и методов обучения. Например, я представлю доказательства того, что метод перевзвешивания потерь из диффузии, применяемый к моделям MDM/AR любого порядка, может обеспечить качество восприятия, сопоставимое с сильными моделями непрерывной диффузии. Далее я расскажу о выходе за рамки как авторегрессии (фиксированного порядка), так и диффузии (случайного порядка) для поиска новых мощных способов генерации. В частности, я сосредоточусь на моделях, которые адаптивно определяют порядок генерации на основе частичного контекста. Я подчеркну важную роль вставки в гибкой генерации и планировании, а также принципиальную структуру, которую мы разработали для масштабируемого обучения максимального правдоподобия генеративных моделей на основе вставки.