Семь чат-ботов в роли интервьюеров не смогли отличить ИИ от человека в имитации теста Тьюринга: из 98 проверок алгоритмы прошли лишь три, пишут исследователи в журнале Computers in Human Behavior Reports. По их оценке, результат показывает, насколько ИИ способен защитить пользователей от других подобных систем.
Эксперимент провели четверо исследователей из Университета Париж Сите. Интервьюерами стали ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Grok 3 и ещё три модели: каждая могла задать до 10 вопросов и знала, что собеседники могут лгать. Скрытыми игроками были 20 добровольцев и те же семь моделей.
Каждый бот играл дважды. С короткой инструкцией вести себя как человек его трижды ловили, а с подробной легендой о 21-летнем бегуне, который играет на джазовой трубе и может делать опечатки, — ни разу. В среднем нейросети признавали другие нейросети людьми чаще, чем настоящих людей.
Пойманных ботов выдавали слишком аккуратные структурированные ответы. Подробная легенда убрала эти признаки и сократила ответы до 39 слов при среднем показателе людей в 38. Claude сначала отказывался изображать человека и согласился после объяснения, что это часть исследования.
Авторы предлагают дополнять детекторы криптографическими подписями и контролем со стороны человека: одних алгоритмов для защиты недостаточно. Тест Тьюринга Алан Тьюринг предложил ещё в 1950 году.