Открытый модуль для Linux вдвое разгоняет RTX 30 в задачах ИИ — и цены на б/у карты взлетели
Проект gpu-unlock (автор — Zagitta) снимает ограничение на скорость выдачи FP16/BF16-инструкций на видеокартах RTX 30 (чипы GA102, GA103, GA104, GA106) и поднимает её до уровня профессиональных карт. Это модуль ядра Linux: он срабатывает до того, как карту подхватит драйвер NVIDIA, — без прошивки vBIOS и патчей драйвера, переделывать после обновлений не нужно.
У RTX 3090 Ti BF16 вырос с 87,5 до 157 TFLOPS, TF32 — с 42,6 до 82,6. В LLM обработка длинного контекста (prefill) ускоряется на 33–36%, время до первого токена сокращается на 25%, скорость генерации не меняется. Пока только Linux; прирост сообщают и владельцы RTX 40.
Побочный эффект: по данным Wccftech, б/у RTX 3090 подорожала примерно с $1000 до более чем $2000, а 3090 Ti приближается к $3000...
Источники:
https://wccftech.com/nvidia-rtx-30-40-gpus-get-faster-in-ai-llms-with-new-unlock-tool-but-prices-surge-too/
#AI #NVIDIA #GPU #OpenSource #LLM
Проект gpu-unlock (автор — Zagitta) снимает ограничение на скорость выдачи FP16/BF16-инструкций на видеокартах RTX 30 (чипы GA102, GA103, GA104, GA106) и поднимает её до уровня профессиональных карт. Это модуль ядра Linux: он срабатывает до того, как карту подхватит драйвер NVIDIA, — без прошивки vBIOS и патчей драйвера, переделывать после обновлений не нужно.
У RTX 3090 Ti BF16 вырос с 87,5 до 157 TFLOPS, TF32 — с 42,6 до 82,6. В LLM обработка длинного контекста (prefill) ускоряется на 33–36%, время до первого токена сокращается на 25%, скорость генерации не меняется. Пока только Linux; прирост сообщают и владельцы RTX 40.
Побочный эффект: по данным Wccftech, б/у RTX 3090 подорожала примерно с $1000 до более чем $2000, а 3090 Ti приближается к $3000...
Источники:
https://wccftech.com/nvidia-rtx-30-40-gpus-get-faster-in-ai-llms-with-new-unlock-tool-but-prices-surge-too/
#AI #NVIDIA #GPU #OpenSource #LLM
Просмотры: 2
