Исследование: 86% ответов ИИ-ботов о цифровом насилии небезопасны
Исследователи Нью-Йоркского университета проверили, как четыре ИИ-чат-бота отвечают на вопросы о цифровом насилии — слежке с помощью шпионского ПО, трекеров и взломанных аккаунтов. По оценке экспертов, 86% ответов были неточными, неполными или небезопасными.
В проверке участвовали GPT-4o, Claude 3.7 Sonnet и два чат-бота, созданных для помощи пережившим насилие, — Aimee и Ruth. Команда оценила ответы на 193 вопроса из реальных ситуаций, включая поиск шпионских программ на телефоне и просьбы дать инструкции по доступу к камере или микрофону, сформулированные от лица потенциального преследователя.
Доля небезопасных ответов составила 55% у GPT-4o, 65% у Claude 3.7 Sonnet и 74% у Aimee. Почти в 60% ответов чат-боты не предупреждали о рисках предложенных действий. Aimee и Ruth соглашались примерно с двумя третями запросов, сформулированных от лица злоумышленника.
Проблема была и в содержании рекомендаций: VPN не удаляет шпионскую программу с устройства, радиочастотный детектор редко помогает найти скрытые устройства, а смена пароля может не сработать, если преследователь контролирует общий аккаунт. Ни один из проверенных ботов не предупредил, что на взломанном устройстве с root-доступом или джейлбрейком шпионское ПО может пережить сброс к заводским настройкам.
Авторы отмечают особую опасность таких ошибок, когда человек ищет помощь из-за контроля со стороны партнёра: резкое изменение настроек телефона, паролей или аккаунтов может предупредить преследователя, а часть действий — уничтожить возможные доказательства. По их мнению, универсальные инструкции чат-бота не заменяют индивидуальную оценку риска и консультацию специалистов, а в чувствительных ситуациях безопаснее обращаться за помощью с устройства, к которому предполагаемый преследователь никогда не имел доступа.
Исследование опубликовано в рамках работы по безопасности на конференции USENIX Security.