Оказалось, старые видеокарты NVIDIA RTX 30-й серии могут работать с нейросетями значительно быстрее. Энтузиасты нашли способ снять ограничение скорости вычислений через специальный модуль для Linux.

На практике это означает, что такие задачи, как начальная обработка запроса к языковой модели (ИИ), будут выполняться быстрее - в одном из тестов карта RTX 3090 Ti показала прирост около 80%. Однако сама генерация текста нейросетью заметно не ускорится.

Этот трюк полезен в основном тем, кто уже использует подобные карты для локальной работы с ИИ и хочет выжать из них максимум без покупки нового железа. Метод уже пробуют адаптировать и для более новых RTX 40.