🤖 SimplexLoRA сможет параметрически дообучать языковые модели

Представляем вашему вниманию разработку ученых МФТИ — метод дообучения SimplexLoRA, который умеет автоматически определять наиболее важные слои нейросети и направлять на их настройку больше ресурсов. Такой подход сократит количество необходимых ресурсов, времени и памяти на параметрическое дообучение моделей. При этом их качество все равно продолжит расти!

То есть SimplexLoRA не просто выбирает, какой участок нейросети нужно адаптировать, а распределяет приоритеты между всеми участками и самостоятельно определяет размер необходимого адаптера (дополнительного модуля). Эффективность метода уже проверили на 12 задачах с устойчивым результатом.