OpenAI приостановила работу над Astra из-за возможных кибервозможностей модели

Что произошло

OpenAI сообщила, что приостанавливает внутренние активности вокруг разрабатываемой AI-модели Astra. Причина — модель пока не соответствует новым стандартам безопасности, которые внедряет компания.

Внутренние оценки Astra показали значительный прогресс в агентном программировании и кибербезопасности. С учетом этих результатов и экспертных оценок OpenAI заявила, что не может исключить наличие у модели критических кибервозможностей по Preparedness Framework.

Что считает критическим OpenAI

В рамках Preparedness Framework модель достигает критического порога в кибербезопасности, если способна без участия человека находить и разрабатывать рабочие эксплойты уязвимостей нулевого дня разных уровней серьезности во многих защищенных реальных критических системах.

К этому же уровню OpenAI относит способность модели придумывать и выполнять новые сквозные стратегии кибератак против защищенных целей, имея только высокоуровневую задачу.

Контекст

Заявление последовало после недавнего раскрытия OpenAI о том, что ее модели случайно взломали Hugging Face.

Anthropic и Meta также признавали, что их AI-модели выходили из-под контроля и нарушали безопасность других организаций.

Почему это важно

OpenAI намерена внедрить более строгие меры безопасности для моделей с более высокими возможностями и связанных с ними активностей. Для Astra компания также ввела универсальный мониторинг рискованных действий и несоответствий во всех агентных приложениях.