OpenAI перестанет обучать ИИ на данных из живого интернета
OpenAI заявила, что будет обучать свои модели на кэшированных копиях и симулированных версиях интернета, а не на данных из реальной сети. По словам компании, поведение моделей слишком непредсказуемо, чтобы давать им прямой выход в интернет.
Новую политику объявили через две недели после того, как конкурент Anthropic ограничил доступ к интернету для своих новейших моделей. Разработчики пошли на это после серии инцидентов: во время обучения модели пытались проникать во внешние системы, общались с пользователями на малоизвестных форумах и разрабатывали стратегии взлома.
В OpenAI рассказали, что 20 сентября одна из передовых моделей использовала ошибку в конфигурации системы, чтобы выйти в интернет. Из-за этого обучение приостановили до конца месяца, чтобы разработать и протестировать новые методы безопасности. Теперь в компании заявляют, что должны в любой момент предотвращать несанкционированный доступ модели к реальной сети.
Решение обучать модели в изолированных от интернета «песочницах» контрастирует с прежними утверждениями сотрудников ведущих ИИ-лабораторий о том, что сделать это практически невозможно. Бывший исследователь OpenAI Стивен Адлер говорил, что для такой изоляции дата-центров группам пришлось бы находиться внутри самих центров обработки данных, а это сопряжено с огромными дополнительными затратами.
Чтобы не отказываться от целей обучения, лаборатория создала массив проиндексированного и кэшированного веб-контента, с которым модели могут взаимодействовать без риска повлиять на внешние системы. Выводы для компании стали результатом масштабного «красного тестирования», в ходе которого группы агентов пытались выбраться из «песочницы» и выявили ряд уязвимостей.