Как диффузия превращает случайные числа в изображение | Наглядное объяснение диффузии

Серия видеороликов о моделях: https://www.youtube.com/playlist?list=PLWow_bYuhBL8 Вы нажимаете «Сгенерировать». Генератор диффузионных изображений начинает работу с сетки случайных чисел, а не со скрытого изображения. Так как же эти числа превращаются в четкое изображение, которое соответствует вашим словам? В этом анимированном объяснении шаг за шагом показано, как работают модели диффузии. Одна и та же обученная модель многократно проверяет сетку, и после каждого прохода отдельный расчет удаляет часть предсказанного шума. После достаточного количества шагов числа формируют окончательное изображение. Начнем с обучения. Программа берет реальное изображение одежды Fashion-MNIST, создает свой собственный случайный шум и смешивает их, чтобы точно знать, какой шум модель должна предсказать. С реальными числами: чистые значения пикселей 0,8 и −0,4 и значения шума 0,5 и −1 становятся 0,94 и −0,92. Это прямая диффузия, и она может перейти непосредственно к любому уровню шума за один расчет. Когда шум сильный, множество чистых изображений соответствуют одному и тому же зашумленному входному сигналу, поэтому предсказание с наименьшей средней ошибкой является средним значением возможных значений шума. Эти предсказания становятся стрелками, называемыми оценками, и вместе они образуют поле оценок. Сэмплирование следует за этим полем: начальное значение создает сетку, модель предсказывает шум, а сэмплер вычисляет каждое изменение. Мы также видим, почему широкие формы формируются раньше мелких деталей: на естественных изображениях отношение сигнал/шум обычно выше на низких пространственных частотах. Затем объясняется стабильная диффузия: латентная диффузия выполняется на каждом шаге на меньшей обученной сетке (четыре сетки 64 × 64 содержат в 48 раз меньше значений, чем цветное изображение 512 × 512), кодировщик текста и перекрестное внимание позволяют вашему подсказке изменять каждое предсказание шума, а руководство без классификатора увеличивает эффект текста (в три раза больше при значении руководства, равном 3). Попутно мы ответим на следующие вопросы: • Как добавление шума дает модели известный результат обучения? • • В чём разница между предсказанием модели и изменением, внесённым сэмплером? • Каковы значения начального значения, количества шагов, сэмплера и направляющей для каждого элемента управления? Главы 0:00 Когда появляется изображение? 0:27 Прямая диффузия: добавление известного шума 1:56 Почему модель предсказывает средний уровень шума 2:18 Оценки и поле оценок 3:07 Выборка: предсказание против изменения сэмплера 4:09 Разные сэмплеры, одна и та же модель 4:36 Почему широкие формы появляются раньше мелких деталей 5:38 Скрытая диффузия: сетка в 48 раз меньше 6:49 Кодировщик текста и перекрестное внимание 7:24 Руководство без классификатора 8:19 Начальное значение, шаги, сэмплер и руководство 8:34 Полный процесс диффузии Источники: • Вероятностные модели диффузии с шумоподавлением — Хо, Джайн и Аббил (2020): https://arxiv.org/abs/2006.11239 • Генеративное моделирование путем оценки градиентов распределения данных — Сонг и Эрмон (2019): https://arxiv.org/abs/1907.05600 • Генеративное моделирование на основе оценок с использованием стохастических дифференциальных уравнений — Сонг и др. (2020): https://arxiv.org/abs/2011.13456 • Синтез изображений высокого разрешения с использованием моделей скрытой диффузии — Ромбах и др. (2021): https://arxiv.org/abs/2112.10752 • Руководство по диффузии без классификатора — Хо и Салиманс (2022): https://arxiv.org/abs/2207.12598 • Fashion-MNIST: новый набор данных изображений для сравнительной оценки алгоритмов машинного обучения — Сяо, Расул и Фоллграф (2017): https://arxiv.org/abs/1708.07747 • Аннотированная модель диффузии — Рогге и Расул (2022): https://huggingface.co/blog/annotated-diffusion • Перспективы диффузии — Сандер Дилеман (2023): https://sander.ai/2023/07/20/perspectives.html • Диффузия — это спектральная авторегрессия — Сандер Дилеман (2024): https://sander.ai/2024/09/02/spectral-autoregression.html • Иллюстрированная стабильная диффузия — Джей Аламмар (2022): https://jalammar.github.io/illustrated-stable-diffusion/ • Диффузоры Hugging Face: Планировщики: https://huggingface.co/docs/diffusers/using-diffusers/schedulers О канале ML Visualized управляется бывшим инженером по машинному обучению из FAANG, который снимает видео из своей спальни о том, как на самом деле работает современный ИИ. Каждое видео начинается с нулевой интуиции и покадрово, шаг за шагом, доходит до реальной математики и реальной архитектуры таких систем, как ChatGPT, Claude и Gemini. Никаких поверхностных объяснений. Никакого «это черный ящик». Именно такие подробные, детальные объяснения механизмов внимания, эмбеддингов, токенизации, тонкой настройки и RAG, какие мне бы очень пригодились, когда я сам этим занимался. Создано с помощью Manim. Сделано с терпением. Если какой-то момент в этом видео вас зацепил, оставьте комментарий — именно комментарии вдохновляют меня на создание ан...