Технозаметки Малышева

UltraBERT: один энкодер сразу для классификации и поиска (https://huggingface.co/blog/dmis-lab/ultrabert)

📋 Исследователи DMIS Lab на этой неделе выпустили UltraBERT, - семейство энкодеров на 150M и 380M параметров с нативным контекстом 32K токенов. Это первый энкодер, который лидирует сразу в двух бенчмарках: 91.0 на GLUE и 47.7 на BEIR.

💡 Раньше ни одна модель не была лучшей одновременно в классификации и поиске. Авторы прогнали абляции на 70 триллионах токенов и нашли причину: низкая доля маскирования (5%) делает сильнее классификатор, высокая (50%) - поисковик, а их смешивание в одной голове даёт компромисс.
Бонусом выяснили, что энкодеры, в отличие от декодеров, насыщаются: качество выходит на плато уже после 1-2 триллионов токенов.

💼 Рецепт UltraBERT - раздельные LM-головы: в каждом батче смешаны последовательности с 5% и 50% маскирования в пропорции 4:1, и у каждой доли своя голова при общем теле.
Бэкбоны отпилены от крупной учительской модели и дистиллированы. Отдельно вышла UltraBERT-Embed-150M - лучшая модель эмбеддингов до 200M параметров: 67.24 на MTEB по английскому и 73.30 по коду, с контекстом 32K и без дистилляции из более крупного эмбеддера.

📎 Блог Hugging Face (https://huggingface.co/blog/dmis-lab/ultrabert)

#NLP #BERT #эмбеддинги
———
@tsingular

Расцензурить модели на движке Strata можно без изменения самих моделей (https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md)

📋 В Strata, - движке локального инференса, обнаружилась встроенная функция «проекции контрольных векторов».
Она позволяет снимает отказы модели прямо во время генерации, не трогая GGUF-файл: веса на диске остаются оригинальными.

💡 У модели есть «направление отказа» - вектор в пространстве активаций, который заставляет её вежливо отказывать на неудобные запросы.
Strata на слоях с 4 по 44 (для модели Qwen 3.8 Flash Next) вычитает проекцию этого направления из остаточного потока: h = h − (h·v)v. Модель перестаёт «видеть» причину отказывать сама при этом не меняясь.

💼 Включается такой режим четырьмя флагами в конфиге движка:

--control-vector-scaled Qwen3.8-Flash-Next-cvec.gguf:1.0
--control-vector-layer-range 4 44
--cvec-mode project
--cvec-dir per-layer


Смысл каждого: масштаб вектора, диапазон слоёв, режим именно «вычесть», а не добавить (стоковый llama.cpp так не умеет) и свой вектор на каждый слой.
В тестах - 1 отказ из 50 вместо 50 из 50. Фича спрятана под именем «experimental speed projection», хотя к скорости отношения не имеет и даже стоит +0,2–0,4% на токен.

📎 Документация Strata — раздел «Experimental speed projection» (https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md)

#LLM #инференс #цензура #cybersecurity
———
@tsingular

У llama.cpp появилось приложение для Windows 11 с загрузкой моделей и локальным API (https://huggingface.co/blog/huggingface/llama-windows)

🦙 Команда llama.cpp и Hugging Face представила Llama Windows, бесплатное приложение для запуска локальных моделей из области уведомлений Windows 11. Это Windows-аналог Llama для macOS: движок тот же, но выбирать сборки и запускать сервер вручную больше не нужно.

🖱 Приложение подключается к уже работающему серверу или запускает свой, а при необходимости устанавливает llama.cpp. Модели можно искать на Hugging Face и скачивать через интерфейс. Для разговора открывается веб-интерфейс llama.cpp; сочетание Alt+Space вызывает отдельное окно чата поверх других приложений.

📦 Перед загрузкой видны размер модели и поддержка изображений. Для установленной модели можно выбрать длину контекста с оценкой потребления памяти. Файлы хранятся в общем кэше Hugging Face, поэтому другим совместимым инструментам не нужна отдельная копия той же модели.

🔌 Для разработчиков доступен OpenAI-совместимый API по адресу http://localhost:9931/v1. К нему можно подключать свои программы, редакторы и агентов. После скачивания модели запросы обрабатываются на компьютере, без обязательного обращения к облачному сервису.

🔐 В актуальном релизе 0.12.0 токен Hugging Face хранится в зашифрованном виде, а при открытии сервера для других устройств автоматически добавляется API-ключ. По умолчанию сервер доступен только с самого компьютера.

⚠️ Есть сборки для x64 и ARM64, заявлена поддержка NVIDIA RTX Spark. Пакет требует Windows 11 24H2 или новее (сборка 26100+). Возможность запустить конкретную модель и её скорость зависят от памяти и оборудования; размер файла не равен всей памяти, нужной при работе.

💼 Подойдёт для локального помощника и проверки собственных ИИ-приложений без оплаты облачных запросов. Код приложения открыт по MIT; условия использования выбранной модели нужно проверять отдельно.

📎 Скачать (https://llama.app/download/windows)
· Код и релизы (https://github.com/ggml-org/Llama-Windows/releases/tag/v0.12.0)

#HuggingFace #llamacpp #Windows
———
@tsingular