KRAFTON выпустила Raon-1 mini — открытую MoE-модель, обученную с нуля

Создатель PUBG KRAFTON открыл веса Raon-1 mini preview под лицензией Apache 2.0. Это MoE-модель на 28,8 млрд параметров, из которых на токен активны 4,3 млрд. Её обучили с нуля, без дообучения чужой базы. Контекст — до 262 144 токенов, языков семь, сильнее всего корейский.

Архитектура гибридная: 18 слоёв Raon Delta Attention, развивающей Kimi Delta Attention, и 7 слоёв MLA с KV-кэшем. В бенчмарках разработчика модель обходит Qwen3.6-35B-A3B и Gemma 4 26B-A4B на GPQA Diamond (84,3), IFBench (84,2) и SWE-Verified (70,8), но уступает в MMLU Pro и Terminal-Bench.

Вместе с моделью выложен черновик DFlash2 для спекулятивного декодирования: на одной NVIDIA B300 он ускоряет вывод до 2,18 раза. Версия в NVFP4 запускается на одной RTX 5090. Это превью, характеристики ещё могут измениться...

Источники:
https://huggingface.co/KRAFTON/Raon-1-mini-preview

#AI #KRAFTON #Raon #OpenWeights #MoE