Нейросеть? Упакуйте две, пожалуйста! 📦
В МФТИ создали алгоритм HARP, который улучшает качество экстремально сжатых языковых моделей. Разработка позволяет моделям уровня Llama и Qwen работать в 2 раза быстрее без потери информации — эффективнее, чем при стандартном подходе.
Исследователи отмечают, что HARP не заменяет существующие методы квантования, а работает поверх них. При этом даже при самом жестком 2-битном сжатии вероятность ошибки снизилась на 12–15 %. Сейчас HARP уже применяется к квантованию весов модели с перспективой в будущем перейти на другие компоненты интерфейса.
В МФТИ создали алгоритм HARP, который улучшает качество экстремально сжатых языковых моделей. Разработка позволяет моделям уровня Llama и Qwen работать в 2 раза быстрее без потери информации — эффективнее, чем при стандартном подходе.
Исследователи отмечают, что HARP не заменяет существующие методы квантования, а работает поверх них. При этом даже при самом жестком 2-битном сжатии вероятность ошибки снизилась на 12–15 %. Сейчас HARP уже применяется к квантованию весов модели с перспективой в будущем перейти на другие компоненты интерфейса.