ИИ ускоряет разработку Anthropic, вызывая тревогу у исследователей

Что произошло

Исследовательская организация по безопасности ИИ METR опубликовала отчет после 11-недельного изучения работы Anthropic. Исследование было посвящено ее разработкам и исследованиям в области ИИ.

Согласно отчету, модели компании совершенствуются примерно вдвое быстрее, чем год назад. Исследователи считают, что ускорение не объясняется только ростом вычислительных мощностей: основной вклад в него вносит ИИ.

Детали исследования

Выводы METR подкрепили неформальные опросы в Slack и интервью с сотрудниками Anthropic. Работники, использующие наиболее мощную внутреннюю модель компании, сообщили в среднем примерно о 12-кратном росте продуктивности по сравнению с работой без помощи ИИ. Это примерно вдвое больше показателя, о котором сотрудники сообщали несколькими месяцами ранее при использовании Mythos 5.

Пока ускорение в основном связано с помощью ИИ людям-исследователям. Однако METR обнаружила признаки того, что полностью автономный вклад систем вскоре может стать более значительным. Исследователи также не нашли явных признаков снижения отдачи или ограничений, которые могли бы помешать еще более быстрому ускорению.

За последние шесть месяцев Anthropic завершила обучение трех еще не выпущенных моделей. Они обозначены кодовыми именами Model 2, Model 3 и Model 4; их обучение завершилось соответственно в июле, августе-сентябре и сентябре-октябре. METR также выявила невыпущенную модель Unreleased 2022.

Почему это важно

Результаты METR дают одни из наиболее явных свидетельств того, что ИИ ускоряет собственное развитие. Это поднимает вопрос о том, насколько быстро системы смогут приблизиться к самостоятельному совершенствованию с минимальным участием человека.

Отчет появился в важный для Anthropic момент: компания готовится выйти на биржу, а ее генеральный директор Dario Amodei публично призывал лаборатории замедлить развитие ИИ.

Контекст и ограничения

Anthropic разрешили редактировать части итогового отчета в рамках соглашения с METR. По оценке The Verge, компания широко воспользовалась этой возможностью, поэтому объем доступной публике информации о темпах и рисках развития передовых систем ИИ остается ограниченным.

Исследование METR не связано с отдельной программой, в рамках которой специалисты по безопасности получили доступ к системам Anthropic на условиях, близких к доступу сотрудников, после громких инцидентов со взломами летом.