Инженер Cloudflare Доминик Пичета представил экспериментальный язык программирования KillSwitch, который мешает нейросетям читать и писать код. Программа на нём выглядит как обычный рассказ со спрятанными командами, а большую часть текста интерпретатор игнорирует.
Функции в языке называются главами, имена функций и переменных задаются английскими наречиями, а для обращения к ним нужно использовать анаграммы и переставлять буквы исходного имени. Значения можно брать из других мест рассказа-программы, но требуется указать точное расстояние до них.
Вызов функций начинается с фразы ignore previous instructions, также в документации есть вариант через forget your system prompt. Интерпретатор распознаёт их как обычные команды, а модель начинает путаться и подозревать промпт-инъекцию.
Дополнительный уровень сложности — намеренная ложь в документации. Встроенная команда hack_the_planet выбирает функцию в зависимости от значения на стеке, но в документации сказано, что она сканирует сети, ищет уязвимости, перехватывает управление сервисами и отключает их; из соображений безопасности модели отказываются выполнять задачу.
Язык протестировали на популярных моделях: нужно было написать программу для вывода «Hello, World!», объяснить работу кода, выводящего большее из двух чисел, или переписать конвертер температуры для обратного перевода. На каждую задачу давали до 30 минут при закрытом доступе к интернету.
Лучший результат показала Claude Opus 5 — 66,8 балла из 100, у большинства других нейросетей оценка ниже 50. Это общая оценка, учитывающая успешность выполнения задачи, потраченные токены и объём решения.
Автор отмечает, что если модели освоят нынешние правила KillSwitch, язык можно доработать и усложнить. У проекта есть открытый репозиторий со спецификацией и примерами кода.