ExVRAM Lab — это исследовательский проект с открытым исходным кодом, направленный на запуск больших языковых моделей на потребительских графических процессорах с ограниченным объемом памяти.

Для этого используются сверхнизкобитные представления, резидентность на всем графическом процессоре, конфигурация среды выполнения с учетом памяти и существующие технологии логического вывода с открытым исходным кодом.

Github Community