GPT-6 Astra исправила нейросеть Qwen, изменив 0,016% её весов
Учёные из MIT CSAIL использовали GPT-6 Astra для прямого редактирования весов другой нейросети — Qwen3.5-0.8B. Модель самостоятельно нашла причину повторяющихся рассуждений Qwen и исправила её, изменив 131 072 параметра из примерно 800 млн. Это 0,016% весов, но результат Qwen на тесте MATH-500 вырос с 7,9% до 48,1%.
Веса нейросети — параметры, определяющие, как она обрабатывает информацию и формирует ответы. Обычно их меняют в процессе обучения с помощью специальных алгоритмов. В эксперименте MIT Astra обошлась без переобучения и градиентов: она получила доступ к параметрам Qwen через программную среду Python, анализировала ответы модели на тренировочных математических задачах и сама определяла, какие значения нужно изменить.
Источник проблемы Astra обнаружила в 15-м и 19-м слоях Qwen: до исправления 93% ответов модели на MATH-500 достигали установленного ограничения в 32 768 токенов, не доходя до решения. После корректировки определённого направления в параметрах этих слоёв доля ответов, упиравшихся в лимит, снизилась до 33,1%.
Улучшение затронуло не только MATH-500. На GSM8K результат Qwen вырос с 13,8% до 67,1%, а на IFEval, проверяющем способность следовать инструкциям, — с 21% до 62,3%. Настройки генерации ответов до и после редактирования были одинаковыми.
Эксперимент не означает, что Astra смогла добавить другой модели отсутствующие знания: на Gemma 3 270M, которая почти не зацикливалась, значимого улучшения математических результатов добиться не удалось. Подход назвали Weight-Space Programming — программированием в пространстве весов; авторы называют результаты ранними, но видят в прямом изменении весов способ исправлять отдельные проблемы моделей без полного цикла обучения.