Исследователи из управления экспериментальных систем машинного обучения Сбербанка представили Pollux — открытую компактную модель-судью и инструменты для оценки языковых моделей по критериям, которые задаёт пользователь. Модель должна помочь специалистам быстрее находить ошибки в ответах ИИ, а пользователям — получать более точные и безопасные ответы от нейросетей.
Pollux Judge на 4 млрд параметров оценивает не только пары «запрос-ответ» на русском и английском языках по заданным критериям и шкалам, но и диалоги, ответы с найденным контекстом (RAG) и цепочки вызовов инструментов. Обычно в роли судей применяют большие языковые модели: они дорогие и плохо масштабируются, а специализированные модели-судьи сложно встроить в сценарии с диалогами, RAG и агентами.
В основе методологии Pollux лежит подход из бенчмарка Pollux Benchmark, где собрано 35 групп задач и 2115 запросов от экспертов. Модель обучена методом GRPO на русскоязычных и англоязычных данных и рассчитана на двуязычное применение.
На независимом тестовом наборе с экспертной разметкой и на отложенной выборке Pollux показывает коэффициент корреляции Спирмена 0,744 с оценками специалистов. Это выше всех протестированных универсальных моделей, включая системы с числом параметров до 1,1 трлн. Решение можно развернуть локально или использовать через API, совместимый с OpenAI.
Разработчики могут подключить Pollux к фреймворкам DeepEval и LightEval, чтобы оценивать ответы, пары ответов, RAG-системы и агентов по собственным критериям. По словам директора по развитию технологий искусственного интеллекта Сбербанка Сергея Маркова*, критерии оценки и разметка открыты для исследователей, а в экспериментах оценки компактной модели лучше согласовывались с экспертными, чем у моделей с числом параметров в сотни раз больше.