METR: ИИ ускорил разработку моделей Anthropic почти вдвое
Независимая исследовательская организация METR оценила, что с октября 2025 года возможности моделей Anthropic на выбранных бенчмарках росли в 1,9 раза быстрее, чем раньше. По мнению исследователей, около 80% ускорения связано с использованием ИИ внутри компании.
Ускорение измеряли по индексу AECI и только на части задач, доверительный интервал оценки — от 1,5 до 2,8 раза. Для работы METR получила доступ к внутренним данным Anthropic, включая результаты трёх ещё не выпущенных моделей — Model 2, 3 и 4, и поговорила примерно с 15 сотрудниками компании.
По словам сотрудников, Claude помогает писать и проверять код, запускать эксперименты, анализировать результаты и быстрее проверять гипотезы. Один из исследователей оценил сокращение времени между появлением идеи и экспериментом примерно в 80%, другой сформулировал так: теперь ограничивающие факторы — идеи и вычисления, а не написание кода. Оценки самих сотрудников различались: двое однозначно подтвердили ускорение более чем вдвое, трое скорее согласились, четверо дали неоднозначные ответы, двое не согласились.
В отдельных опросах сотрудники оценили прирост собственной производительности при работе с самой мощной внутренней моделью в среднем в 12 раз. METR считает эти данные слабым доказательством: это субъективные оценки, а не результаты контролируемого эксперимента. Значительного полностью автономного вклада ИИ в ключевые этапы обучения новых моделей METR не обнаружила, но отметила первые признаки того, что модели начинают самостоятельно выполнять более сложные задачи.
METR не выявила очевидных ограничений со стороны алгоритмов, вычислений и данных, которые гарантированно остановили бы ускорение в ближайшие 12 месяцев, хотя этот прогноз сопровождается существенной неопределённостью. Anthropic разрешила изучить внутренние данные, но скрыла значительную часть материалов, сославшись на риск передать конкурентам дорожную карту. Сооснователь компании Сэм МакКэндлиш согласился с основным выводом об ускорении исследований, но признал, что из-за удалённых данных независимая проверка затруднена.