🌀 Align Your Flow — новый прорыв в генерации изображений

Исследователи Nvidia предложили метод, который объединяет преимущества diffusion‑, flow‑ и consistency‑моделей, но без их главного минуса — большого числа шагов генерации.

📌 В чём проблема:
• Diffusion и flow‑модели выдают отличные результаты, но требуют десятки/сотни шагов
• Consistency-модели ускоряют генерацию (1–2 шага), но резко теряют в качестве при увеличении шагов

🔬 Решение: Flow Maps
• Обобщают подходы diffusion и consistency
• Связывают любые уровни шума за один шаг
• Работают эффективно при любом числе шагов

🧪 Что нового в работе:
• Два непрерывных loss-функционала для обучения flow map
• Поддержка автонавигации: слабая модель помогает сильной при дистилляции
• Дополнительный прирост через adversarial finetuning, при этом сохраняется разнообразие семплов

📈 Результаты:
• SOTA на ImageNet (64×64 и 512×512) — даже с компактными нейросетями
• Текст‑к‑картинке (text-to-image) версия превзошла все не-GAN модели в few-step генерации

🧠 Вывод:
Align Your Flow — это следующий шаг после diffusion и consistency. Меньше шагов, меньше вычислений — при том же или лучшем качестве.

📎 Отличный кандидат для продвинутых генераторов и real-time inference.

https://huggingface.co/papers/2506.14603

Machine learning Interview

🌀 Align Your Flow — новый прорыв в генерации изображений

Исследователи Nvidia предложили метод, который объединяет преимущества diffusion‑, flow‑ и consistency‑моделей, но без их главного минуса — большого числа шагов генерации.

📌 В чём проблема:
• Diffusion и flow‑модели выдают отличные результаты, но требуют десятки/сотни шагов
• Consistency-модели ускоряют генерацию (1–2 шага), но резко теряют в качестве при увеличении шагов

🔬 Решение: Flow Maps
• Обобщают подходы diffusion и consistency
• Связывают любые уровни шума за один шаг
• Работают эффективно при любом числе шагов

🧪 Что нового в работе:
• Два непрерывных loss-функционала для обучения flow map
• Поддержка автонавигации: слабая модель помогает сильной при дистилляции
• Дополнительный прирост через adversarial finetuning, при этом сохраняется разнообразие семплов

📈 Результаты:
• SOTA на ImageNet (64×64 и 512×512) — даже с компактными нейросетями
• Текст‑к‑картинке (text-to-image) версия превзошла все не-GAN модели в few-step генерации

🧠 Вывод:
Align Your Flow — это следующий шаг после diffusion и consistency. Меньше шагов, меньше вычислений — при том же или лучшем качестве.

📎 Отличный кандидат для продвинутых генераторов и real-time inference.

https://huggingface.co/papers/2506.14603

hottg.com/machinelearning_interview/1866

2.6K viewsJun 18 at 07:04