Anthropic: ИИ близок к самосовершенствованию, риски учтены
Anthropic в уточнённой форме S-1/A раскрыла, что находится на пороге создания модели ИИ, способной к рекурсивному самосовершенствованию (RSI). При таком сценарии система настолько эффективно обучает себя, что её возможности начинают расти резко ускоренными темпами.
Компания считает, что RSI несёт как огромные возможности, так и серьёзные риски. По её словам, использование ИИ для создания более совершенных систем ИИ может угрожать безопасности, особенно если это резко ускорит прогресс. Эти аспекты учтены в «Политике ответственного масштабирования», где изложены планы мониторинга и снижения рисков по мере приближения к рекурсивному самосовершенствованию.
Anthropic уже применяет ИИ в исследованиях и разработке и признала, что качественные скачки возможностей новых моделей своевременно не замечались. В будущем, по её словам, прогресс может ускориться настолько, что возможности моделей будут расти быстрее способности компании создавать и проверять средства безопасности и согласования целей.
Внутренние оценки и прогнозы Anthropic указывают, что в скором времени может быть достигнут порог, который в её политике определён как «обусловленное ИИ значительное ускорение прогресса». Сейчас ни одна из моделей компании этот порог не преодолела, и анализ данных продолжается.
Компания также не рассчитывает полагаться на существующие ИИ-системы для полностью автономного проектирования и создания следующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если это станет технически возможным.