WebLLM — это высокопроизводительный механизм логического вывода для больших языковых моделей, который позволяет выполнять логический вывод непосредственно в веб-браузерах с аппаратным ускорением.

Все работает в браузере без поддержки сервера и ускоряется с помощью WebGPU.

Github Community