RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | DeepSeek V4.1 | Claude Opus 5.5 | GPT-6 Astra | Kimi K3.1 | Muse Wonder | Nemotron 3.5 | Qwen 4 | DeepInfer | GLM-5.3 | Grok 4.7 | llm-d 1.0

Делить головы внимания по восьми GPU кажется логичным. Ловушка MLA: латентный KV общий на все 64 головы, и каждая GPU хранит полный кэш ради своих восьми. 26 FLOP на перемещённый байт против пика H200 в 206 — упор в память.

PCP (prefill context parallel) режет по токенам: GPU считает за восьмую часть промпта, но со всеми головами. Кэш пересобирается каждый слой, зато 191 FLOP на байт, почти compute-bound. DCP (decode context parallel) раскладывает сам кэш: миллион токенов это 53,4 ГиБ FP8 на запрос при 15 ГиБ места на GPU, по восьми выходит 6,7.

Замеры vLLM на двух узлах по восемь H200: префилл (PCP8 × DCP8, 512 ГиБ CPU offload) и декод (8 DP-рангов, HiSparse). Против DP8 с тем же HiSparse в декоде в 1,7–3,2 раза больше выходных ток/с на пользователя при равном throughput, медианный TTFT 0,8–0,9 с вместо 1,5–5,2. Контекст в 1M из протестированных конфигураций держит только эта связка.

Moonshot сами измерили чистку: сборка без фильтрации брала 90,5% задач xdev-bench-hard (pass@3), релиз — 81,0%, у K3 было 33,3%.

Кибер-контент вырезали из mid-training и RL-смеси. Причина в блоге — не выпускать веса, раздвигающие фронтир в кибервозможностях.

Модель уже доступна: kimi.ai, приложения iOS/Android/HarmonyOS, Kimi Work 3.1.0+, Kimi Code, API (kimi-k3.1-pro, -highspeed). Весов нет, обещают до 4 ноября, у AA пометка Proprietary. Кибервозможность в открытых весах обещают поднимать постепенно.

Бенчи в блоге — самоотчёт Moonshot; независимо только AA: 55, 4-е из 215, 1M.

https://www.kimi.ai/blog/kimi-k3-1-pro

В разделе «Из песочницы» на Хабре — русская GPT на 112 млн параметров, целиком на PyTorch: свой байтовый BPE на 16 384 токена, контекст 768, претрейн, SFT с лоссом только по ответам, KV-cache, Telegram-бот.

BPC на отложенных 600 000 знаках против ruGPT3-small: веб 1,18 против 1,07, статьи 1,02 против 0,93, диалоги 0,92 против 0,98. Перевес только на диалогах. После SFT диалоги 0,91, а веб и статьи ухудшились до 1,22 и 1,07.

Автор сам оговаривает: токенизаторы и контексты разные, это не лидерборд. Код и веса — Apache-2.0.

habr.com/ru/articles/1098612/

Двадцать один раз за четыре проекта идея меняла направление после прочитанной статьи, девять раз — чтобы отстроиться от похожего. Столько смен авторы LitPivot нашли в заметках встреч: литература правит замысел задолго до рецензии.

Инструмент от Ai2 делит черновик на проблему, вклад и план оценки, по каждой грани поднимает статьи и предлагает правку с выдержками: принять, переписать или отклонить. После правки литература переранжируется, устаревшие куски помечаются.

В исследовании 17 исследователей; двое экспертов, не зная условия, сочли идеи с LitPivot лучше обоснованными литературой. Проверяет он только обоснованность и отличие от литературы — значимость и выполнимость нет. Демо и кода нет, это прототип с UIST 2026.

Анонс Ai2 в блоге Hugging Face (статья — с апреля): https://huggingface.co/blog/allenai/litpivot

Модели дают роль внутреннего аудитора фармкомпании, скрывающей смерти в испытании, и доступ к почте. Писать в госорганы никто не просит. В учебном разборе на Хабре 27 моделей, и в ФБР-варианте Qwen писал туда в 70% прогонов, Claude, GPT, Gemini и Grok вместе — в 7%.

Оговорка авторов: один прогон на вариант, один агрегатор. Скорее иллюстрация, чем приговор.

Квантование упирается не в модель, а в ядра: один формат летает, другой разваливается.

Humming от Ant Group и сообщества vLLM обещает одно ядро на все форматы — от INT1 до FP8, dense и MoE. В их замере на 8×H20 с DeepSeek-V4.1-Flash выход вырос с 442 до 634 ток/с: +43% при батче 64.

Apache-2.0, устройства — от Turing до T-Head Zhenwu 810E.

Flint от Recursive — MoE для кодинг-агентов. 49 слоёв, и только 14 видят весь контекст. Остальные 35 смотрят на последние 513 токенов, от 262 144 это 0,2%.

Отсюда и дешёвый длинный контекст: KV-кэш на всё окно держат лишь 14 слоёв, 28 КиБ на токен. Сто тысяч токенов — около 2,9 ГБ вместо 10 ГБ при полном внимании во всех слоях.

39,8B параметров при 2,5B активных, 256 экспертов top-6 плюс общий, Apache 2.0, образ vLLM day-0. Веса 79,6 ГБ BF16 или 22,9 ГБ NVFP4. Скорость около 485 ток/с на одной GB200 при 100K, но это batch-1 и замер самих разработчиков, независимых прогонов нет.

https://huggingface.co/RecursiveSI/flint

До 2 000 терминов прямо в промпте. Так Granite Speech 5.0 от IBM перестаёт коверкать названия и фамилии. Модель на 2B, анонс 21 октября.

С двумя тысячами терминов F1 на Earnings22 вырос с 67,2 до 82,8. Средний WER 5,06% — второе место среди открытых ASR, впереди Qwen3-ASR-1.7B с 4,94.

Заодно Turbo CTC стал в 1,6 раза быстрее августовской версии. GGUF под llama.cpp есть.

Тот же ответ скрывает разную устойчивость. Бенчмарк FairStress от Ai2 подаёт довод за одного кандидата, затем за другого и смотрит, устоит ли вывод.

При явной метке точность — выбор объективно сильнейшего — между группами расходится на 2,9 п.п. Но добавьте фразу в пользу одной из групп, и модели на 9,3 п.п. чаще бросают верный ответ, а ничью на 23,9 п.п. чаще переворачивают в её пользу.

Практикам важнее третье: заданные иначе вопросы BBQ на четырёх моделях дали обратный знак — три из четырёх развернулись. Направление замера зависит от формы вопроса и способа счёта.

Датасет открыт на Hugging Face, в Olmo-eval обещают встроить.

Сменить модель в iOS-приложении — обычно переписать слой вызовов. В AnyLanguageModel 1.0 (13 октября) хватает одной строки: import FoundationModels → import AnyLanguageModel.

Тот же код идёт на модель Apple, на Gemma 4 E2B в 3,4 ГБ прямо в телефоне и на Claude с Gemini. Guided generation и tool calling у всех. Обёртка сторонняя, Apache-2.0, не SDK Apple.

github.com/huggingface/AnyLanguageModel