Учёные из Канады, Сингапура и США проверили 15 больших языковых моделей на способность находить методологические ошибки в научных статьях о клинических исследованиях. Доля обнаружения у моделей в среднем составила от 53 до 99 процентов, тогда как у человека достигает около 27 процентов.
Лучший результат среди серьёзных ошибок показала модель Opus 5.5 — 99 процентов. Модели GPT-6.1 Sol и GPT-6 Luna достигли 94 и 86 процентов соответственно. Среднее время просмотра статьи у всех моделей варьировалось от 1,4 до 16,3 минуты.
Исследование возглавил Руслан Руст из Университета Южной Калифорнии. Учёные составили два набора рукописей: в первый вошли статьи, где 607 рецензентов-людей выявили методологические ошибки, во второй — рандомизированные исследования, опубликованные в 2026 году с теми же 14 типами ошибок. Второй набор добавили, чтобы снизить риск запоминания текстов моделями.
Модели Fable 5 и Opus 5 выступали в роли слепых судей и оценивали каждую рецензию по фиксированному ключу ответа. Результаты опубликованы на портале препринтов medRxiv.org.
Обнаружение ошибки в статье не означает, что в самом исследовании есть принципиальные неточности. К моделям стоит относиться скорее как к функции проверки орфографии в редакторе, чем как к полноценной замене рецензентам.