🔍 Разбираем схему с картинки

Схема на нашей иллюстрации специально упрощена. Она показывает общий принцип работы большинства видеогенераторов.
Реальный workflow для Wan, LTX-Video или Hunyuan Video может содержать больше узлов и другие названия, но логика остаётся примерно одинаковой.

1️⃣ Load Checkpoint — загрузка нейросети
Первый узел загружает основную модель.
Именно модель определяет, что будет уметь генератор:
• создавать видео по тексту;
• оживлять изображение;
• переносить движения человека;
• управлять камерой;
• дорисовывать промежуточные кадры.
В старых и простых схемах модель могла храниться в одном checkpoint-файле.
Современные видеомодели часто состоят из нескольких отдельных файлов:
• основная diffusion-модель;
• текстовый энкодер;
• VAE;
• дополнительные LoRA;
• модели управления движением.
Поэтому в настоящей схеме вместо одного блока Load Checkpoint может находиться сразу несколько загрузчиков.
2️⃣ CLIP Text Encode — перевод текста на язык нейросети
Нейросеть не понимает текст так, как его понимает человек.
Узел Text Encode превращает ваш промпт в набор числовых значений — эмбеддинги. По ним модель определяет:
• что должно находиться в кадре;
• как выглядит персонаж;
• какое освещение использовать;
• как должна двигаться камера;
• какие действия происходят в сцене.
Например:
Молодая девушка идёт по заснеженному городу, медленное движение камеры вперёд, холодный кинематографический свет, ветер развевает волосы.
Для некоторых видеомоделей лучше работают подробные промпты на английском языке. Но современные модели всё чаще понимают и другие языки.
3️⃣ Prompt — описание будущего ролика
Промпт — это ваше техническое задание для нейросети.
Для видео желательно описывать не только внешний вид сцены, но и движение.
Слабый вариант:
Девушка в зимнем городе.
Более подходящий вариант:
Девушка медленно идёт по заснеженной улице. Камера плавно движется рядом с ней. Снег падает на одежду, волосы слегка развеваются от ветра, на заднем плане светятся вывески магазинов.
Полезно разделять промпт на четыре части:
Персонаж или объект: кто находится в кадре.
Действие: что именно происходит.
Камера: приближается, отдаляется, движется вправо или остаётся неподвижной.
Стиль: реализм, аниме, кинематографический свет, плёнка, хоррор, фантастика.
4️⃣ Load Image или Empty Latent — исходник ролика
Здесь выбирается, откуда нейросеть начнёт генерацию.
Image-to-Video
Вы загружаете готовую картинку, а нейросеть добавляет движение.
Так можно:
• оживить персонажа;
• добавить движение волос и одежды;
• заставить человека идти или повернуть голову;
• анимировать фон;
• создать движение камеры;
• превратить концепт-арт в короткую сцену.
Text-to-Video
Исходной картинки нет. Вместо неё создаётся пустое латентное пространство — условный цифровой холст.
Нейросеть формирует всю сцену только по тексту.
Для новичков Image-to-Video обычно проще, потому что исходная картинка уже задаёт внешность персонажа, композицию и стиль.
5️⃣ Video Model — создание движения
Это основная видеомодель, которая понимает взаимосвязь между кадрами.
Обычный генератор изображений создаёт одну картинку. Видеомодель должна сделать сразу целую последовательность кадров и сохранить между ними связь.
Она старается следить за тем, чтобы:
• лицо не менялось в каждом кадре;
• одежда не исчезала;
• фон не прыгал;
• движение было последовательным;
• персонаж сохранял пропорции.
Именно здесь возникает большая часть нагрузки на видеокарту.
Среди видеомоделей, которые официально поддерживаются в ComfyUI, есть семейства Wan, LTX-Video, Hunyuan Video, NVIDIA Cosmos и другие.

https://max.ru/channel_aiit