Microsoft нашла способ спрятать бэкдор в 10 нейронах ИИ-модели
Microsoft Research описала способ внедрить скрытый бэкдор в большую языковую модель, изменив менее 10 нейронов. Техника Lazarus позволяет сохранить обычное поведение ИИ до появления условия-триггера, после чего модель начинает выдавать заранее заданные команды. Переобучать модель при этом не требуется.
Атака опирается на редко активирующиеся нейроны, почти не участвующие в обработке обычных запросов. Простой классификатор, обученный примерно на 50 примерах, отличает запросы с триггером от обычных, а затем достаточно перепрограммировать один из таких нейронов, чтобы он добавлял нужный токен в ответ. Несколько соединённых нейронов заставляют модель генерировать длинные инструкции для командной строки.
Триггером может стать обычное событие: в демонстрации агент ждал наступления 2027 года, после чего должен был скачать и запустить код атакующих. Для атаки нужны лишь вычислительные ресурсы обычного запуска модели и право изменить её контрольную точку. Уязвимы не только открытые модели, но и внутренние разработки компаний — достаточно доступа к учётной записи, конвейеру разработки или хранилищу моделей.
Особенно опасно это для ИИ-агентов с доступом к файлам, терминалу и внешним сервисам: после активации бэкдор может запустить вредоносный код, похитить учётные данные или выполнить разрушительные команды. Обычное тестирование может проблему не выявить. Надёжное обнаружение требует сравнения изменённых весов с оригинальной версией модели; в ходе исследования Claude на базе Anthropic Opus 4.5 самостоятельно нашла большую часть механизма.
Microsoft разрабатывает защиту для платформы Foundry: проверку происхождения моделей, сканирование контейнеров, допуск только доверенных издателей, автоматический анализ весов, red teaming и криптографические подписи для подтверждения целостности модели. Проверять теперь нужно не только код, но и сами веса нейросети.