Моддеры разблокировали скрытую производительность ИИ на видеокартах…
Моддеры разблокировали скрытую производительность ИИ на видеокартах NVIDIA RTX 20, 30 и 40 серий
Энтузиасты обошли искусственные ограничения FP16 и BF16 на потребительских GeForce, которые используют те же кристаллы, что и PRO-карты, но урезаны по скорости выдачи инструкций. Инструменты меняют низкоуровневые регистры GPU до загрузки драйвера NVIDIA. Актуальный метод не требует перепрошивки VBIOS; изменения сбрасываются при потере питания.
На RTX 4090 пропускная способность FP16 выросла с 165,6 до 331,6 TFLOPS — уровень RTX 6000 Ada, на RTX 3090 Ti BF16 с 87,5 до 157,4 TFLOPS, на RTX 2080 Ti — с 59,9 до 111 TFLOPS. В реальных задачах прирост скромнее, но все равно впечатляет: ComfyUI на RTX 3090 Ti ускорился на 56–59% в BF16-моделях, обработка промптов локальных LLM — на 14–36%. Генерация токенов почти не изменилась из-за упора в пропускную способность памяти. Игровая производительность и DLSS не изменились.
На свой страх и риск! Народ, кто пользуется уже, просьба, отпишитесь в комментариях.
Энтузиасты обошли искусственные ограничения FP16 и BF16 на потребительских GeForce, которые используют те же кристаллы, что и PRO-карты, но урезаны по скорости выдачи инструкций. Инструменты меняют низкоуровневые регистры GPU до загрузки драйвера NVIDIA. Актуальный метод не требует перепрошивки VBIOS; изменения сбрасываются при потере питания.
На RTX 4090 пропускная способность FP16 выросла с 165,6 до 331,6 TFLOPS — уровень RTX 6000 Ada, на RTX 3090 Ti BF16 с 87,5 до 157,4 TFLOPS, на RTX 2080 Ti — с 59,9 до 111 TFLOPS. В реальных задачах прирост скромнее, но все равно впечатляет: ComfyUI на RTX 3090 Ti ускорился на 56–59% в BF16-моделях, обработка промптов локальных LLM — на 14–36%. Генерация токенов почти не изменилась из-за упора в пропускную способность памяти. Игровая производительность и DLSS не изменились.
На свой страх и риск! Народ, кто пользуется уже, просьба, отпишитесь в комментариях.