AirLLM оптимизирует использование памяти для логического вывода…
Загружаем изображение…
AirLLM оптимизирует использование памяти для логического вывода, позволяя 70-миллиардным большим языковым моделям выполнять логический вывод на одной видеокарте с 4 ГБ памяти без квантования, дистилляции и усечения.
Теперь вы можете запустить 405-миллиардную Llama3.1 на 8 ГБ видеопамяти.
Github Community
Теперь вы можете запустить 405-миллиардную Llama3.1 на 8 ГБ видеопамяти.
Github Community
Просмотры: 80