Кейс на Хабре: видеомодель LTX-2.5 distilled на 22 млрд параметров влезла в RTX 3080 с 10 ГБ VRAM. Весов около 65 ГБ — в карту не лезут.

Два флага: --quantization fp8-cast переводит веса на лету, --offload cpu держит блоки в RAM и подаёт на карту по очереди. Нужны от 32 ГБ RAM (лучше 64) и подкачка на 32 ГБ. Денойзинг 25 секунд, план — около 5 минут: остальное время веса перечитываются. Узкое место — диск и RAM, не GPU.

Веса под community-лицензией LTX-2.x, не open source.