Muse Spark Open от Meta: 816B, но не Apache

15 октября Meta выложила веса Muse Spark Open. Это MoE на 816B параметров, из них 42B активных на токен, контекст до миллиона токенов. На вход принимает текст, картинки, аудио и видео, на выход текст. Обучали под агентный код: рефакторинг на много файлов, долгие сессии отладки, вызов тулзов.

Что важно тем, кто сам поднимает инференс:
- чекпоинты в BF16 и NVFP4. BF16 весит около 1,5 ТБ, в Transformers его запускают на 4 нодах по 8 H200, NVFP4 помещается в одну ноду B200;
- поддержка с первого дня в vLLM, SGLang, TensorRT-LLM, llama.cpp и MLX;
- Meta отдельно показывает запуск на двух Mac Studio с M5 Ultra по 512 ГБ unified memory.

Недавно я писал про Beam под Apache 2.0. Здесь другая история: веса под Muse Model License с ограниченными коммерческими условиями. Прежде чем тащить модель в продукт, я бы отдал лицензию юристам, а не полагался на слово «open».

Источники:
https://research.meta.ai/blog/muse-spark-open
https://huggingface.co/blog/meta-muse-spark-open

#LLM #OpenWeights #MoE