AI в проде

Beam от Reflection: 501B под Apache 2.0

Reflection выложила веса своей первой открытой модели Beam на Hugging Face под Apache 2.0, без отдельной «модельной» лицензии с оговорками. Это MoE на 501B параметров, из них 23B активных на токен, контекст около миллиона токенов. Заточена под код и длинные агентные задачи.

Для тех, кто сам поднимает инференс, интереснее комплект поставки. Веса сразу в BF16, FP8 и NVFP4, плюс отдельная драфт-модель для speculative decoding. Поддержка с первого дня в vLLM, SGLang, Transformers и Dynamo, так что кастомный сервинг писать не нужно.

В блоге vLLM есть цифры, которые стоит держать в голове при планировании:
- драфт-голова DFlash2 предсказывает сразу блок токенов, а не по одному;
- на реплее многоходовых сессий с кодом около 88K токенов/с на GPU при 96 параллельных запросах, но при попадании в кэш входных токенов 91–96%.

Последний пункт я бы не пропускал. Для агентов цифры держатся на prefix-кэше, без него пропускная способность будет совсем другой.

Источники:
https://reflection.ai/blog/beam-is-available
https://vllm.ai/blog/2026-10-16-reflection-beam

#LLM #OpenWeights #vLLM

Агент, который собирает агентов, в одном YAML

В CNCF вышел пошаговый лаб по kagent, это Sandbox-проект, где агент — custom resource в Kubernetes. Авторы собирают на kind агента-конструктор: описываешь задачу словами, он пишет манифест Agent и применяет его. Модель локальная через Ollama.

Мне тут интересны три слоя защиты, которые не зависят от промпта:
- toolNames как allowlist: из 22 инструментов модель видит три;
- requireApproval на k8s_apply_manifest, без клика человека ничего не применится;
- RBAC: только read-only плюс запись agents.kagent.dev.

Деталь, которую я бы забрал себе: по умолчанию чарт даёт ServiceAccount инструментов cluster-admin. Это первое, что стоит выключить. И проверить:
kubectl auth can-i create deployments \
--as=system:serviceaccount:kagent:kagent-tools -n kagent
Про модели: qwen2.5 на 7B и 14B ошибались с вызовом инструментов, стабильно справилась qwen3-coder:30b-a3b. И авторы честно предупреждают, что лаб без аутентификации и только для ноутбука.

Источник: https://www.cncf.io/blog/2026/10/12/from-zero-to-agent-builder-running-kagent-on-your-laptop/

#kagent #Kubernetes #AIagents

Не давайте агенту root. Пусть присылает PR

В блоге CNCF дельная колонка мейнтейнера Kairos про то, сколько прав давать ИИ-агенту на проде. Мысль простая. Если агент с root, а от катастрофы его держит только аккуратный AGENTS.md, вы себя обманываете: модель недетерминирована, и гарантий нет.

Что автор предлагает:
- хост иммутабельный (bootc, Flatcar, Kairos), изменения базы идут новым образом, а не пакетами на лету;
- сам агент — обычный короткоживущий workload, изоляция по модели угроз: под, sandboxed-под или VM;
- агент смотрит систему и открывает PR со следующим состоянием, а дальше ревью, тесты, сборка, подпись, релиз.

Важная оговорка, которую я бы распечатал: identity агента может предлагать изменения, но не может их одобрять, мержить, трогать пайплайн и подписывать образ. Иначе это тот же root, только в обход.

Практический шаг на сегодня: проверьте, что у токена вашего агента в Git нет прав на merge и на .github/workflows.

Источник: https://www.cncf.io/blog/2026/10/08/dont-give-ai-agents-root-make-them-propose-the-next-system-state/

#AIagents #GitOps #PlatformEngineering

80B-модель на ноутбуке с 32 ГБ памяти

На HN всплыл Janas — движок на чистом C для MoE-моделей, которые не влезают в RAM. Веса лежат на диске, нужные токену эксперты читаются с NVMe, а частые остаются в памяти.

Цифры автора с одного ноутбука (Core Ultra 9 185H, встроенная Arc, 32 ГБ). Qwen3-Next-80B весит 48,4 ГБ, то есть больше памяти. Генерация 24 tok/s против 2,8 у llama.cpp, а с draft-моделями до 37. Чтение промпта 62 против 16. На моделях, которые влезают в память, отрыв скромнее: Qwen3-30B-A3B пишет 32 tok/s против 15.

Попробовать на Linux x86-64:
curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janas && ./janas-chat
Только честно: автор сам пишет, что это эксперимент, проверенный на одной машине. Движок забивает свободную память кэшем и читает диск через O_DIRECT, десктоп может уйти в swap. Я бы гонял его на отдельной машине, а замеры делал своим janas-bench, а не верил чужим таблицам.

Источник: https://github.com/prabanta-dev/janas

#LocalLLM #MoE #inference

Пусть агент пишет скрипт, а не дёргает тулзы по одной

Армин Ронахер, автор Flask, написал, зачем в агенте Pi 1.0 появился Codemode. Мысль простая, и мне она кажется правильной. Модель не вызывает инструменты по одному, протаскивая каждый ответ через контекст. Она пишет короткий JS-скрипт, который сам вызывает тулзы, параллелит и фильтрует.

Крутится это в QuickJS внутри WASM-песочницы. Ни сети, ни файловой системы, ни таймеров, память ограничена. Наружу можно только через разрешённые инструменты. Агент обычно сначала щупает 5–10 элементов, а потом пишет скрипт на остальные n.

Выигрыш понятный. Большие ответы MCP не забивают контекст, вызовы собираются через Promise.all (в Pi до 4 параллельно), а состояние между вызовами живёт в store().

Если пишете свой MCP-сервер, вот что я вынес из поста. Отдавайте structured content через outputSchema. Возвращайте данные одной формы, хоть 5 записей, хоть 500. И не надо «экономить токены» на больших батчах, скрипты агента от этого ломаются.

Пробовали уже такой подход?

Источник: https://lucumr.pocoo.org/2026/10/6/codemode/

#AIагенты #MCP #LLM

Поиск по своим runbook'ам, не выходя из контура

Google выпустила EmbeddingGemma 2, открытую модель эмбеддингов под Apache 2.0. Я давно ждал что-то такого размера для внутренних инструментов.

Всего 740M параметров, а если нужен только текст, хватает 270M. Энкодеры картинок и аудио подключаются отдельно, по желанию. На коде прирост заметный, MTEB Code вырос с 68,76 до 78,68. Контекст 8K токенов, в четыре раза больше, чем у первой версии. Запускается через sentence-transformers, vLLM, llama.cpp, Ollama, векторы можно складывать в тот же Qdrant.

Самое практичное, на мой взгляд, — Matryoshka. Вектор режется с 768 до 512, 256 или 128 измерений, экономия места до 6x.

Сценарий напрашивается сам. Семантический поиск по runbook'ам, постмортемам и Terraform-модулям, который работает внутри и ничего не отправляет наружу. Безопасники будут довольны.

Я бы начал с 256 измерений и сравнил с 768 на реальных запросах. Часто разницы почти нет, а индекс втрое меньше.

Источник: https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/

#RAG #эмбеддинги #LocalLLM