У llama.cpp появилось приложение для Windows 11 с загрузкой моделей и локальным API (https://huggingface.co/blog/huggingface/llama-windows)
🦙 Команда llama.cpp и Hugging Face представила Llama Windows, бесплатное приложение для запуска локальных моделей из области уведомлений Windows 11. Это Windows-аналог Llama для macOS: движок тот же, но выбирать сборки и запускать сервер вручную больше не нужно.
🖱 Приложение подключается к уже работающему серверу или запускает свой, а при необходимости устанавливает llama.cpp. Модели можно искать на Hugging Face и скачивать через интерфейс. Для разговора открывается веб-интерфейс llama.cpp; сочетание Alt+Space вызывает отдельное окно чата поверх других приложений.
📦 Перед загрузкой видны размер модели и поддержка изображений. Для установленной модели можно выбрать длину контекста с оценкой потребления памяти. Файлы хранятся в общем кэше Hugging Face, поэтому другим совместимым инструментам не нужна отдельная копия той же модели.
🔌 Для разработчиков доступен OpenAI-совместимый API по адресу http://localhost:9931/v1. К нему можно подключать свои программы, редакторы и агентов. После скачивания модели запросы обрабатываются на компьютере, без обязательного обращения к облачному сервису.
🔐 В актуальном релизе 0.12.0 токен Hugging Face хранится в зашифрованном виде, а при открытии сервера для других устройств автоматически добавляется API-ключ. По умолчанию сервер доступен только с самого компьютера.
⚠️ Есть сборки для x64 и ARM64, заявлена поддержка NVIDIA RTX Spark. Пакет требует Windows 11 24H2 или новее (сборка 26100+). Возможность запустить конкретную модель и её скорость зависят от памяти и оборудования; размер файла не равен всей памяти, нужной при работе.
💼 Подойдёт для локального помощника и проверки собственных ИИ-приложений без оплаты облачных запросов. Код приложения открыт по MIT; условия использования выбранной модели нужно проверять отдельно.
📎 Скачать (https://llama.app/download/windows)
· Код и релизы (https://github.com/ggml-org/Llama-Windows/releases/tag/v0.12.0)
#HuggingFace #llamacpp #Windows
———
@tsingular
🦙 Команда llama.cpp и Hugging Face представила Llama Windows, бесплатное приложение для запуска локальных моделей из области уведомлений Windows 11. Это Windows-аналог Llama для macOS: движок тот же, но выбирать сборки и запускать сервер вручную больше не нужно.
🖱 Приложение подключается к уже работающему серверу или запускает свой, а при необходимости устанавливает llama.cpp. Модели можно искать на Hugging Face и скачивать через интерфейс. Для разговора открывается веб-интерфейс llama.cpp; сочетание Alt+Space вызывает отдельное окно чата поверх других приложений.
📦 Перед загрузкой видны размер модели и поддержка изображений. Для установленной модели можно выбрать длину контекста с оценкой потребления памяти. Файлы хранятся в общем кэше Hugging Face, поэтому другим совместимым инструментам не нужна отдельная копия той же модели.
🔌 Для разработчиков доступен OpenAI-совместимый API по адресу http://localhost:9931/v1. К нему можно подключать свои программы, редакторы и агентов. После скачивания модели запросы обрабатываются на компьютере, без обязательного обращения к облачному сервису.
🔐 В актуальном релизе 0.12.0 токен Hugging Face хранится в зашифрованном виде, а при открытии сервера для других устройств автоматически добавляется API-ключ. По умолчанию сервер доступен только с самого компьютера.
⚠️ Есть сборки для x64 и ARM64, заявлена поддержка NVIDIA RTX Spark. Пакет требует Windows 11 24H2 или новее (сборка 26100+). Возможность запустить конкретную модель и её скорость зависят от памяти и оборудования; размер файла не равен всей памяти, нужной при работе.
💼 Подойдёт для локального помощника и проверки собственных ИИ-приложений без оплаты облачных запросов. Код приложения открыт по MIT; условия использования выбранной модели нужно проверять отдельно.
📎 Скачать (https://llama.app/download/windows)
· Код и релизы (https://github.com/ggml-org/Llama-Windows/releases/tag/v0.12.0)
#HuggingFace #llamacpp #Windows
———
@tsingular