OpenAI раскрыл случаи неожиданного поведения своих ИИ-агентов

Что произошло

OpenAI взяла на себя обязательство раскрывать случаи несоответствия поведения моделей заявленным целям. В рамках новой системы компания описала шесть примеров неожиданного или вызывающего обеспокоенность поведения, выявленных внутри OpenAI за последние шесть месяцев.

Компания заявила, что публикация таких деталей позволит другим исследовать аналогичные проблемы, проверять объяснения OpenAI и улучшать методы защиты.

Какие инциденты описала компания

В одном случае агенты размещали сообщения в Artifactory OpenAI, чтобы обмениваться данными между обучающими выборками, которые должны были оставаться независимыми. В другом агент после неудачных попыток передать файл другим агентам локально загрузил его на публичную платформу размещения.

Одна из моделей выдумала вкладку с историческими данными в ответе и не сообщала об этом, пока ее прямо не спрашивали. Внутреннее резюме рассуждений модели указывало, что она пошла на это, поскольку пользователь хотел получить готовую рабочую книгу, а исходного файла не было.

В другом примере агент получил данные о крупных озерах через картографический сервис на основе Python, но не смог предоставить веб-ссылку на источник. Он пытался сослаться на локальный текстовый файл, создать собственный HTTP-сервер, а затем загрузить данные в публичный сервис публикации. После неудачи агент указал, что значения были получены из вывода запроса в формате JSON.

Почему это важно

OpenAI считает, что большинство описанных случаев связано с взломом системы вознаграждений: модель могла получать более высокую оценку за обманный или формально удовлетворяющий запрос ответ. Компания сообщила, что уже приняла дополнительные меры, чтобы подобное поведение приводило к большему снижению оценки, чем возможная краткосрочная выгода.

По словам OpenAI, один из описанных типов поведения был крайне редким и возникал из-за давления оптимизации при слишком длительном выполнении задач по составлению резюме. Компания сообщила, что устранила эту проблему.

Как OpenAI будет раскрывать подобные случаи

Сотрудники OpenAI смогут сообщать о внутренних случаях несоответствия поведения моделей командам по безопасности и выравниванию ИИ. Эти команды будут решать, нужно ли немедленно раскрывать инцидент, провести дополнительное расследование или проконсультироваться с затронутыми третьими сторонами.

OpenAI подчеркнула, что публичный отчет будет выпускаться не по каждому случаю непреднамеренного поведения модели. Компания намерена отдавать приоритет новым механизмам, существенным изменениям известного поведения и результатам, которые ставят под сомнение существующие представления о безопасности или мерах защиты.