Генерация изображений на микроконтроллере ESP32-S3: Text-to-image за 5 секунд

Разработчик реализовал полноценную локальную диффузионную модель на чипе ESP32-S3 с 512 КБ оперативной памяти и частотой 240 МГц без использования облачных вычислений. Система генерирует изображения лиц размером 64×64 пикселя по текстовому промпту за 5,4 секунды. Для работы на столь слабом железе использована архитектура диффузионного трансформера (DiT) и обучена собственная модель на базе датасета CelebA с 40 атрибутами.

Ключевые технические решения:
• Квантование весов и активаций до int8 с динамическим масштабированием на каждый токен, что позволило уместить модель в 3,1 МБ флеш-памяти.
• Использование векторных инструкций PIE в ассемблере для ускорения матричных вычислений (16 пар умножений за одну инструкцию).
• Сжатие данных через латентную диффузию: вычисления идут в пространстве 16×16×4, а декодер переводит их в пиксели один раз в финале.
• Оптимизация архитектуры: замена cross-attention на усредненный текстовый эмбеддинг и использование метода Rectified flow, позволяющего получать результат всего за 8 шагов денойзинга.
• Упрощенный текстовый энкодер на 300 тысяч параметров со словарем из 45 слов-токенов, обрабатываемых стеммером.

Источник: habr.com