Сжатое и гладкое скрытое пространство для диффузионных текстовых моделей

Семинар BayesGroup «Сжатое и гладкое скрытое пространство для диффузионных текстовых моделей» от 11.11.2025. Докладчик: Егор Чимбулатов (НИУ ВШЭ) Большинство современных диффузионных моделей для текста основаны на маскированной (то есть дискретной) диффузии. Альтернативным направлением является непрерывная диффузия в скрытом пространстве. В данной работе исследуются принципы построения эффективного «диффузабельного» пространства для генерации текста. Продемонстрирована важность гладкости скрытого пространства и приемы для ее обеспечения. В работе был подробно исследован компромисс между сжатостью пространства, увеличивающей скорость генерации, и качеством текста. Предложенная модель обходит бейзлайновые модели и демонстрирует возможность масштабирования. Статья «Compressed and Smooth Latent Space for Text Diffusion Modeling»: https://arxiv.org/abs/2506.21170