Correction Training for Diffusion Models

Новый метод обучения диффузионных моделей от UC Berkeley и Reve. Убирает ошибки, которые копятся при генерации. Денойзер видит на инференсе свои же предсказания из прошлых шагов, а не реальные картинки из обучения. Отсюда дефекты вроде кривого рта, которые приходят с ранних шагов

• решает разрыв «обучение-инференс», сближая распределения
• можно дистиллировать результат обратно в базовую модель, чтобы убрать оверхед
• в опросе людей качество и разнообразие выиграли у CFG с большим отрывом

• качество на уровне CFG без самого CFG
• больше разнообразия картинок, меньше выжженных цветов

Как устроено:
• отдельный корректoр, обученный править предсказание денойзера к той же цели
• на каждом шаге денойзинга предсказание правится несколько раз подряд
• повторная коррекция ключевая, не параметры

github.com/sunovivid/correction-training

Спасибо @m_franz

#optimization