🖥️ Старая видеокарта стала быстрее. Но не там, где надо
Вопрос: если у чипа физически есть блок, который просто отключили на заводе, — это новая видеокарта или старая с обрезанным крылом?
Ответ лежит в открытом репозитории тут. Это модуль ядра Linux: он срабатывает до того, как драйвер Nvidia заберёт карту, и прописывает чипам 30-й серии другие настройки частот. Без пайки, без перепрошивки BIOS.
На 3090 Ti счёт в BF16 (упрощённый формат чисел, на нём обучают модели) вырос с 87,5 до 157,4 TFLOPS — это триллионы операций в секунду. RTX 3060 прибавляет около 80%.
Только главный ответ неожиданный: генерация текста локальной моделью почти не ускоряется. Она упирается в скорость памяти, а не в счёт. Выигрывают длинные промпты (14–36%) и картинки. Плюс расход ватт выше, и всё это только на Linux.
Бесплатный апгрейд, который греет ровно половину задач. Проверять на своей карте — по ссылке выше.
Просмотры: 26