Ученые МФТИ совместно с исследователями из «Т-Технологий» представили метод дообучения больших языковых моделей SimplexLoRA, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов. Подход повышает качество моделей, не увеличивая ресурсы и не создавая дополнительной нагрузки при их последующем использовании.
Большие языковые модели обычно не обучают заново под каждую задачу: вместо этого применяют методы параметрически эффективного дообучения с помощью небольших дополнительных модулей — адаптеров, и LoRA один из самых распространенных. Ограничение в том, что адаптеры имеют одинаковый размер во всех слоях, хотя слои влияют на результат неодинаково.
SimplexLoRA в начале дообучения оценивает, каким участкам нейросети нужны более крупные адаптеры, а каким можно назначить меньшие. Общий объем обучаемых параметров не меняется: алгоритм не добавляет ресурсы, а перераспределяет уже имеющиеся. Обучение идет поэтапно — сначала распределение ресурсов, затем стандартное обучение LoRA с новыми размерами.
Эффективность метода проверили на 12 задачах, включая анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментах использовались четыре языковые модели разного размера, в том числе Llama 3.1 8B и Qwen3-8B. По данным авторов, в большинстве случаев для стабильных результатов достаточно рекомендованных настроек без длительного поиска параметров.
Метод может пригодиться при настройке языковых моделей в условиях ограниченной вычислительной мощности — например, при небольшом объеме видеопамяти или необходимости минимизировать стоимость обучения. Благодаря совместимости со стандартным LoRA подход можно внедрять в существующие системы без существенной переработки кода. Исходный код SimplexLoRA опубликован в открытом доступе.