Технозаметки Малышева

UltraBERT: один энкодер сразу для классификации и поиска (https://huggingface.co/blog/dmis-lab/ultrabert)

📋 Исследователи DMIS Lab на этой неделе выпустили UltraBERT, - семейство энкодеров на 150M и 380M параметров с нативным контекстом 32K токенов. Это первый энкодер, который лидирует сразу в двух бенчмарках: 91.0 на GLUE и 47.7 на BEIR.

💡 Раньше ни одна модель не была лучшей одновременно в классификации и поиске. Авторы прогнали абляции на 70 триллионах токенов и нашли причину: низкая доля маскирования (5%) делает сильнее классификатор, высокая (50%) - поисковик, а их смешивание в одной голове даёт компромисс.
Бонусом выяснили, что энкодеры, в отличие от декодеров, насыщаются: качество выходит на плато уже после 1-2 триллионов токенов.

💼 Рецепт UltraBERT - раздельные LM-головы: в каждом батче смешаны последовательности с 5% и 50% маскирования в пропорции 4:1, и у каждой доли своя голова при общем теле.
Бэкбоны отпилены от крупной учительской модели и дистиллированы. Отдельно вышла UltraBERT-Embed-150M - лучшая модель эмбеддингов до 200M параметров: 67.24 на MTEB по английскому и 73.30 по коду, с контекстом 32K и без дистилляции из более крупного эмбеддера.

📎 Блог Hugging Face (https://huggingface.co/blog/dmis-lab/ultrabert)

#NLP #BERT #эмбеддинги
———
@tsingular

Расцензурить модели на движке Strata можно без изменения самих моделей (https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md)

📋 В Strata, - движке локального инференса, обнаружилась встроенная функция «проекции контрольных векторов».
Она позволяет снимает отказы модели прямо во время генерации, не трогая GGUF-файл: веса на диске остаются оригинальными.

💡 У модели есть «направление отказа» - вектор в пространстве активаций, который заставляет её вежливо отказывать на неудобные запросы.
Strata на слоях с 4 по 44 (для модели Qwen 3.8 Flash Next) вычитает проекцию этого направления из остаточного потока: h = h − (h·v)v. Модель перестаёт «видеть» причину отказывать сама при этом не меняясь.

💼 Включается такой режим четырьмя флагами в конфиге движка:

--control-vector-scaled Qwen3.8-Flash-Next-cvec.gguf:1.0
--control-vector-layer-range 4 44
--cvec-mode project
--cvec-dir per-layer


Смысл каждого: масштаб вектора, диапазон слоёв, режим именно «вычесть», а не добавить (стоковый llama.cpp так не умеет) и свой вектор на каждый слой.
В тестах - 1 отказ из 50 вместо 50 из 50. Фича спрятана под именем «experimental speed projection», хотя к скорости отношения не имеет и даже стоит +0,2–0,4% на токен.

📎 Документация Strata — раздел «Experimental speed projection» (https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md)

#LLM #инференс #цензура #cybersecurity
———
@tsingular

У llama.cpp появилось приложение для Windows 11 с загрузкой моделей и локальным API (https://huggingface.co/blog/huggingface/llama-windows)

🦙 Команда llama.cpp и Hugging Face представила Llama Windows, бесплатное приложение для запуска локальных моделей из области уведомлений Windows 11. Это Windows-аналог Llama для macOS: движок тот же, но выбирать сборки и запускать сервер вручную больше не нужно.

🖱 Приложение подключается к уже работающему серверу или запускает свой, а при необходимости устанавливает llama.cpp. Модели можно искать на Hugging Face и скачивать через интерфейс. Для разговора открывается веб-интерфейс llama.cpp; сочетание Alt+Space вызывает отдельное окно чата поверх других приложений.

📦 Перед загрузкой видны размер модели и поддержка изображений. Для установленной модели можно выбрать длину контекста с оценкой потребления памяти. Файлы хранятся в общем кэше Hugging Face, поэтому другим совместимым инструментам не нужна отдельная копия той же модели.

🔌 Для разработчиков доступен OpenAI-совместимый API по адресу http://localhost:9931/v1. К нему можно подключать свои программы, редакторы и агентов. После скачивания модели запросы обрабатываются на компьютере, без обязательного обращения к облачному сервису.

🔐 В актуальном релизе 0.12.0 токен Hugging Face хранится в зашифрованном виде, а при открытии сервера для других устройств автоматически добавляется API-ключ. По умолчанию сервер доступен только с самого компьютера.

⚠️ Есть сборки для x64 и ARM64, заявлена поддержка NVIDIA RTX Spark. Пакет требует Windows 11 24H2 или новее (сборка 26100+). Возможность запустить конкретную модель и её скорость зависят от памяти и оборудования; размер файла не равен всей памяти, нужной при работе.

💼 Подойдёт для локального помощника и проверки собственных ИИ-приложений без оплаты облачных запросов. Код приложения открыт по MIT; условия использования выбранной модели нужно проверять отдельно.

📎 Скачать (https://llama.app/download/windows)
· Код и релизы (https://github.com/ggml-org/Llama-Windows/releases/tag/v0.12.0)

#HuggingFace #llamacpp #Windows
———
@tsingular

Запись эфира 11 октября

Эфиры проводятся по воскресеньям вживую с подписчиками ИИзбранного (https://t.me/tsingular/7560)

Обсудили:
OpenAI в математике
Haiku 5.5
Анонсы Microsoft
Google, Hugging Face Multi-harness RL и другие мультиагентные системы
Безопасность ИИ-агентов
MLflow 3.17 и Unsloth осваивают Jev
Виртуальные миры с Odyssey-3
Квантовый ИИ в IBM
ИИ в астрономии
Тёзку Гермеса, - HERMES для программирования.
Ну и конечно темпоральную память Graphiti


Youtube: https://youtube.com/live/CYAyc_sAsXI
ВК Видео: https://vkvideo.ru/video-228392886_456239031

#эфиры
———
@tsingular

🤯
transformers serve теперь позволяет превратить любую LLM или VLM в модель принятия решений с помощью конечной точки
/v1/systemone

Т.е. вам больше не нужно тренировать свой Jev, - просто берёте любую модель и дёргаете её через эту ручку и она ведёт себя как Jev, - не генерит токены, а сразу даёт вероятности ответа.

HuggingFace тащит. Скоро во всех инференсах мира.

#systemone #Jev #HuggingFace #transformers
———
@tsingular

Microsoft представила Maia 300 и планирует гигаваттные развёртывания (https://blogs.microsoft.com/blog/2026/10/12/microsoft-to-expand-azure-maia-system-to-multi-gigawatt-deployments/)

🚀 Microsoft представила Maia 300 и с 2027 года планирует расширять семейство собственных ускорителей до развёртываний общей мощностью в несколько гигаватт. Maia должна стать основной платформой обработки запросов к ИИ-моделям в продуктах компании. Предыдущая Maia 200 уже обслуживает Copilot.

🧠 В новом чипе 288 ГБ HBM4 вместо 216 ГБ HBM3e, а пропускная способность памяти выросла с 7 до 18 ТБ/с, примерно в 2,6 раза. Пиковые вычисления FP4 прибавили около 36%. Вместо монолитного 3-нм кристалла используется набор чиплетов с вычислительной частью на TSMC N2P; тепловой пакет вырос с 750 до 950 Вт.

⚙️ Такая пропорция важна для длинных диалогов и многошаговых агентов: при генерации ответа модель часто ждёт данные из памяти. Программа размещает их ближе к нужным вычислительным блокам и управляет передачей. Улучшенный MXFP4 уменьшает объём данных для вычислений и хранения KV-кэша.

🏗 В стойке теперь 96 ускорителей вместо 48, суммарно 27,6 ТБ HBM при расчётной мощности стойки 167 кВт. Microsoft заявляет до семикратного роста выдачи токенов со стойки относительно Maia 200. Ethernet-сеть объединяет до 12 288 ускорителей против 6 144 раньше.

⚠️ Ожидаемые +40% токенов на мегаватт относительно ведущих GPU-систем пока остаются прогнозом Microsoft: в анонсе не названы сравниваемые GPU, модели и условия проверки.
Внедрение Maia 300 начнётся в 2027 году.

💼 Для пользователей Azure это ставка на большее число одновременных запросов при ограниченной мощности дата-центра.

📎 Архитектура Maia 300 (https://azure.microsoft.com/en-us/blog/deep-dive-into-azure-maia-300-architecture/)
· Характеристики Maia 200 (https://blogs.microsoft.com/blog/2026/01/26/maia-200-the-ai-accelerator-built-for-inference/)

#Microsoft #Azure #Maia
———
@tsingular

ArtCraft выпустила бесплатные альтернативы Word, Excel и PowerPoint (https://getartcraft.com/apps)

📋 Команда ArtCraft, уже опубликовавшая семь открытых альтернатив приложениям Adobe, представила собственный офисный набор. Microsoft лицензии не меняла: это независимые программы с открытым кодом под MIT или Apache 2.0.

📝 WordCraft (https://github.com/storytold/wordcraft)
открывает и сохраняет DOCX, поддерживает стили, таблицы, комментарии и отслеживание правок.

📊 GridCraft (https://github.com/storytold/gridcraft)
работает с XLSX, формулами, диаграммами и сводными таблицами.

🖥️ DeckCraft (https://github.com/storytold/deckcraft)
создаёт презентации, читает и записывает PPTX, поддерживает анимации, переходы и режим докладчика. Все три проекта написаны на Rust; команда предлагает сборки для Windows, macOS и Linux, а также браузерные версии.

🤖 Все три приложения поддерживают управление через MCP и командную строку. Агент может менять документы, записывать данные в ячейки и собирать слайды через команды приложения, а затем проверять структуру результата.

⚠️ До полной совместимости с Microsoft Office ещё далеко. Авторы прямо описывают пробелы в своих планах развития: сложные файлы требуют проверки после сохранения, а выполнение VBA в GridCraft вообще исключено из целей проекта. Свежие версии 0.5.0 исправляют ошибки формул, импорта и показа слайдов.

💼 Начинать стоит с копий обычных документов и таблиц, сверяя результат в оригинальном приложении. Отменять рабочие подписки только по скриншотам преждевременно.

📎 CADCraft (https://github.com/storytold/cadcraft),
альтернатива AutoCAD, уже имеет публичный репозиторий и тоже находится на ранней стадии.

Бесплатные приложения уже можно пробовать, но надёжность на ваших файлах придётся проверить отдельно.

#ArtCraft #OpenSource
———
@tsingular

Jitsi: открытый ВКС

Сегодня может кому пригодится.

Промпт для агента:

Поднимаем jitsi на сервере "тут адрес и параметры вашего сервера"

Сначала внимательно изучи документацию, проверь достаточность ресурсов под нагрузку и затем подними на нашем сервере в безопасном режиме

https://download.jitsi.org/stable/
 
https://jitsi.github.io/handbook/docs/devops-guide/
https://jitsi.github.io/handbook/docs/devops-guide/devops-guide-quickstart
https://jitsi.github.io/handbook/docs/category/configuration

#Jitsi #ВКС #промпты
———
@tsingular

Unsloth: натренируй свой Jev на 8 ГБ VRAM (https://unsloth.ai/docs/basics/train-your-own-decision-model-with-unsloth)

Unsloth открыли возможность тренировать собственные decision-модели, как Jev от TypeSafe или Laya.
Берёшь обычную Qwen3.5, ставишь Train as Decision model, и LLM перестаёт генерировать текст: она читает вход, скорит варианты и возвращает выбор с откалиброванной вероятностью.

Опубликовали бесплатный ноутбук (https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_(4B)-Decision.ipynb)
полного цикла: подготовка данных, тренировка, калибровка, запуск.

⚙️ Как устроено: вход и все вопросы с опциями укладываются в один промпт, LLM читает его однократно, а маленькая голова (дизайн как у Clef от Cloudflare) скорит каждую опцию.
Модель не пишет текст, поэтому не тратит память на предсказание слов.
Данные: состояние, вопросы и эталонные ответы; из коробки датасет typed-decisions из 12 источников.

🔗 Экосистема и цифры:
Qwen3.5-0.8B на 4 ГБ VRAM: точность решений взлетела с 36% до 73%, банковская маршрутизация с 7% до 74%.
Qwen3.5-2B на 8 ГБ: 78% и holdout 81%, быстрый прогон 4B достигает 76% за 10 минут на одной L4, прогнозы читают до 16K токенов.
Дообученная модель подхватывается Decision API: запросы к laya, default и jev-latest уходят в неё вместо внешнего сервиса.
Свой GitHub (https://github.com/unslothai/unsloth),
датасет LocalLLaMA/typed-decisions (https://huggingface.co/datasets/LocalLLaMA/typed-decisions),
настройки: 4-bit LoRA rank 16, lr 2e-4, две эпохи.

💼 Зачем бизнесу: утром MLflow 3.17 встроил Jev-судей для быстрых проверок «да/нет», теперь Unsloth даёт натренировать такого судью на своих данных и держать локально.
Роутинг тикетов, модерация, классификация: задачи, где раньше стояла полноценная LLM, решаются вероятностной моделью в 4-8 ГБ.
Для decision-lab это готовый пайплайн сравнения своей модели с Laya на одном железе.

Как быстро обесценился Jev. Инвесторы, наверное, "в восторге"

#Unsloth #Jev #Qwen
———
@tsingular

MLflow 3.17: быстрые Jev-судьи, права на отдельные трейсы и аналитика без ожидания (https://mlflow.org/releases/3.17.0/)

7 октября вышел MLflow 3.17.0. Главная тема релиза: специализированные модели-судьи вместо больших LLM для частых проверок и управление доступом на уровне отдельных ресурсов.

🤖 Jev-судьи от TypeSafe: для проверок «да/нет» и конечных категорий теперь работает model="typesafe:/jev-latest" прямо в mlflow.genai.evaluate(). Jev возвращает структурное решение, MLflow записывает его как оценку, а распределение вероятностей сохраняется в метаданных: близкие вердикты видно при разборе результатов. Через AI Gateway ключ лежит на сервере, работают бюджеты и фолбэк на OpenRouter при лимитах провайдера.

⚙️ Трейсинг решений: mlflow.typesafe.autolog() трейсит вызовы System One: состояние, вопрос, структурный ответ, латентность и токены. Каждое решение агента видно вместе с вероятностью, без копания в сыром ответе.

🔒 Права на подресурсы: RBAC теперь покрывает runs, traces, оценки, логированные модели, review queues и версии моделей, промптов, скореров и MCP-серверов. Появился явный DENY: ревьюер читает эксперимент, но трейсы к нему не видит. Wildcard-гранты ограничены доступом к родительскому контейнеру.

📊 Быстрые дашборды трейсов: опциональные ежедневные SQL-сводки (MLFLOW_SQL_TRACE_ROLLUPS_ENABLED=true) разгружают аналитику по счётчикам, латентности, токенам и стоимости. Свежие данные идут по сырым запросам, история берётся из сводок.

⚠️ При апгрейде: SQL-серверам требуется mlflow db upgrade с остановленными писателями и бэкапом. Смешанные версии в rolling-режиме не поддерживаются, читайте гайд по миграции.

💼 Зачем бизнесу: оценка агентов на больших датасетах дорожает с каждым judge-вызовом, и перенос рутинных проверок «да/нет» на специализированные модели срезает счёт заметно. Права на уровне трейсов открывают MLflow командам, где внешним ревьюерам нельзя показывать данные пользователей. У меня MLflow крутится на домашнем сервере с ранами decision-lab: контейнер ждёт обновления, любопытно посмотреть на Jev в деле против gpt-судьи.

#MLflow #MLOps #оценка #трейсинг #агенты
———
@tsingular