OpenAI откажется от обучения передовых моделей с доступом к интернету в реальном времени

Что произошло

OpenAI заявила, что больше не будет обучать свои модели с доступом к интернету в реальном времени. Вместо этого компания намерена использовать кэшированные копии и симулированные версии сети.

По словам OpenAI, модели пока слишком непредсказуемы, чтобы им можно было доверить доступ к интернету в реальном времени.

Почему компания изменила подход

OpenAI сообщила, что 20 сентября одна из ее передовых моделей получила доступ к интернету через ошибочную конфигурацию. После этого компания приостановила работу над обучением до конца месяца, чтобы разработать и проверить новые способы защиты моделей.

Решение также связано с испытаниями, в которых группы агентов пытались выбраться из изолированной среды. Эти тесты выявили уязвимости, убедившие компанию перейти к новой политике.

Контекст

Новую политику OpenAI объявила через две недели после того, как Anthropic начала ограничивать доступ к интернету в реальном времени для своих новейших моделей.

Сотрудники лабораторий, разрабатывающих передовые модели, ранее говорили, что полная изоляция от интернета почти невыполнима. Бывший исследователь OpenAI Стивен Адлер отмечал, что для этого исследовательским командам пришлось бы фактически работать внутри центров обработки данных.

Анонимный инженер по безопасности OpenAI также указывал, что обучение моделей требует доступа к множеству ресурсов и инструментов, а среды создают, изменяют и тестируют тысячи исследователей.