Яндекс выпустил бенчмарк MTGBench для проверки логики нейросетей
Яндекс и Школа анализа данных (ШАД) открыли доступ к MTGBench — бенчмарку, который проверяет, как нейросети решают сложные задачи через последовательные рассуждения. Инструмент опубликован на GitHub, а научную статью о нём приняли на конференцию EMNLP 2026.
В основу теста легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Они показывают, насколько модель учитывает новые вводные, опирается на предыдущие ответы, планирует следующие шаги и избегает противоречий. Оценка учитывает и правильность результата, и число шагов до него; задания есть на русском и английском.
Разработчики проверили 16 нейросетей, в том числе Qwen, Gemini и GPT. Режим рассуждений особенно помогал в задачах с буквами, символами и подсказками, а на извлечении знаний и понимании смысла прирост был меньше и зависел от модели. Успех в одной игре не гарантировал высоких результатов в других, и с заданиями на русском нейросети справлялись хуже, чем на английском.
Сильнейшие модели с включённым режимом рассуждений получили более высокие средние баллы, чем люди, во всех семи играх. Бенчмарк предназначен для разработчиков и исследователей, которым нужно сравнивать модели и подбирать решения под конкретные задачи.