Perplexity показала метод дообучения ИИ с экономией токенов в 6–14 раз
21 октября Perplexity Research совместно с NVIDIA представила метод JOLT (Joint On-policy Learning and Teaching) для пост-обучения языковых моделей. В нём одна и та же модель выполняет две роли: учитель видит привилегированную информацию, например проверенное решение, а ученик её не видит, и обе роли обучаются совместно.
Стандартный подход — обучение с подкреплением по итоговой награде, чаще всего GRPO, — даёт редкий сигнал: модель узнаёт только, решена задача или нет, что на длинных агентных сценариях ведёт к большим расходам вычислений. Альтернативная самодистилляция (OPSD) обходится без отдельного учителя, но учитель, знающий ответ, может давать подсказки, непосильные для ученика, и тогда результат ухудшается: на Terminal-Bench OPSD оказалась ниже исходной модели при любом числе попыток.
В JOLT учитель тренируется на собственных попытках с KL-регуляризацией к ученику, чтобы не уходить слишком далеко от того, что ученик способен сделать. Ученик обучается обратной KL-дистилляцией по токенным оценкам учителя. Вариант JOLT+ дополнительно использует центрированную итоговую награду ученика.
Эксперименты шли на пяти наборах и пяти базовых моделях от Qwen3-0.6B до Qwen3-30B-A3B. По данным авторов, JOLT+ обходит GRPO на GSM8K на 1,5 п. п., на MATH — на 4,2, на LiveCodeBench v6 — на 3,0, на агентном AppWorld — на 9,9 п. п. На Terminal-Bench 2.1 JOLT+ лидирует при любом числе попыток: от 10,96% при pass@1 до 34,83% при pass@32.
На бенчмарке MATH для точности 63,4% алгоритму GRPO потребовалось 8,4 млн обработанных токенов, а JOLT по аппроксимированной кривой уложился в 1,3 млн — примерно в 6,5 раза меньше. Если учитывать только сгенерированные токены, разрыв увеличивается до 13 раз. При этом чистый JOLT без награды ученика уступает GRPO на AppWorld и Terminal-Bench, поэтому лучший результат даёт их комбинация.
JOLT лучше всего работает на агентных задачах, где у разработчиков есть привилегированная информация: логи успешных попыток, результаты тестов, сообщения верификатора. Все эксперименты проведены на сравнительно небольших моделях, независимых воспроизведений нет, а выигрыш на разных бенчмарках заметно отличается.