Поиск по своим runbook'ам, не выходя из контура

Google выпустила EmbeddingGemma 2, открытую модель эмбеддингов под Apache 2.0. Я давно ждал что-то такого размера для внутренних инструментов.

Всего 740M параметров, а если нужен только текст, хватает 270M. Энкодеры картинок и аудио подключаются отдельно, по желанию. На коде прирост заметный, MTEB Code вырос с 68,76 до 78,68. Контекст 8K токенов, в четыре раза больше, чем у первой версии. Запускается через sentence-transformers, vLLM, llama.cpp, Ollama, векторы можно складывать в тот же Qdrant.

Самое практичное, на мой взгляд, — Matryoshka. Вектор режется с 768 до 512, 256 или 128 измерений, экономия места до 6x.

Сценарий напрашивается сам. Семантический поиск по runbook'ам, постмортемам и Terraform-модулям, который работает внутри и ничего не отправляет наружу. Безопасники будут довольны.

Я бы начал с 256 измерений и сравнил с 768 на реальных запросах. Часто разницы почти нет, а индекс втрое меньше.

Источник: https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/

#RAG #эмбеддинги #LocalLLM