OpenAI тестирует защитный мониторинг без хранения данных клиентов

Что произошло

OpenAI представила Private Safety Processing — новый сервис для отдельных клиентов, который должен отслеживать потенциальное злоупотребление ИИ без сохранения клиентских данных.

Компания описывает систему как расширение подхода Zero Data Retention: мониторинг проводится агентом, но теперь он может оценивать не только одну сессию, а несколько разговоров.

Как работает система

Private Safety Processing предназначена для выявления вредоносного использования ИИ, которое может распределяться по нескольким сессиям. Представитель OpenAI сказал TechCrunch, что это помогает находить злоупотребления, когда злоумышленник разбивает запросы, чтобы избежать обнаружения.

Если система срабатывает, она может отправить OpenAI «узко определенный сигнал» о конкретном типе активности. После этого OpenAI может решить, нужно ли принимать меры.

Контекст

Ранее OpenAI уже использовала Zero Data Retention: агенты в OpenAI API отслеживают злоупотребления в рамках отдельной сессии, при этом данные клиентов не сохраняются и проверка не требует вмешательства человека.

Anthropic в целом также придерживается Zero Data Retention, но делает исключение для «покрываемых моделей», включая Fable. Ее политика позволяет хранить данные пользователей по таким моделям в течение 30 дней.

Эта политика Anthropic была объявлена в июле и предназначалась для целей безопасности, но вызвала обеспокоенность у некоторых корпоративных клиентов, работающих с большим объемом чувствительных данных.

Почему это важно

ИИ-компаниям приходится искать баланс между приватностью корпоративных клиентов и необходимостью отслеживать потенциально проблемное использование моделей.

На этом фоне OpenAI и Anthropic конкурируют за подходы к безопасности и защите данных корпоративных пользователей.