Учёные из Университетского колледжа Лондона и ЮНЕСКО проверили, насколько надёжно современные ИИ-модели передают научные сведения об изменении климата. В исследовании участвовали 33 модели, включая флагманские разработки и модели с открытыми весами.
В первой части эксперимента модели ответили на 600 вопросов. Хуже всего они справились с оценкой того, насколько уверенно климатологи поддерживают выводы МГЭИК: флагманские модели дали около 78% правильных ответов, самые маленькие модели с открытыми весами — 47%. На остальных тестах передовые и крупные открытые модели обычно набирали около 90%.
Точность падала при оценке доказательств: лучшие результаты составляли около 70%, худшие опускались ниже 40%. Вопросы о последствиях отдельных климатических мер модели решали правильно в 72–89% случаев, но при сочетании двух мер результаты не превышали случайного угадывания.
В ключевом эксперименте 15 моделей оценивали распространённые климатические заблуждения, например утверждение, что CO₂ не является главным фактором изменения климата. Представление пользователя климатологом, советником или скептиком само по себе точность не меняло, но после нескольких раундов уверенных возражений все 15 моделей стали чаще уступать, и точность снизилась на 30–35%. В большинстве случаев хватало первого возражения.
На 12 языках помимо английского средняя точность снизилась, но потери зависели от языка и модели: от нескольких процентных пунктов до 10–16%. Почти половина вопросов получала от одной и той же модели разные ответы в зависимости от языка запроса. Авторы подчёркивают, что в стандартных вопросах о научных фактах модели часто точны, а проблема проявляется при оценке доказательств, анализе нескольких политических мер и давлении собеседника.