Goodfire представила мониторинг ИИ-агентов изнутри моделей

Что произошло

Goodfire запустила систему мониторинга ИИ-агентов, которая анализирует происходящее внутри модели во время ее работы. Компания специализируется на интерпретируемости — изучении внутренних механизмов ИИ-моделей.

Новые мониторы доступны клиентам Baseten. В отличие от стандартного подхода, при котором отдельная модель проверяет все действия агента, система Goodfire обращается к дополнительной проверке только после обнаружения подозрительного сигнала.

Как работает система

Система использует небольшие детекторы, называемые пробами. Они на каждом шаге считывают внутренние сигналы модели, пока агент выполняет задачу.

Клиенты Baseten могут выбрать риски для мониторинга, включая вредоносный взлом, неправомерное использование химического и биологического оружия, а также манипулирование вознаграждением. Для каждого события можно настроить автоматическую реакцию: записать его, отправить на проверку человеку или полностью отклонить запрос.

Почему это важно

По оценке Goodfire, традиционный мониторинг быстро становится дорогим, если агенты работают часами и обрабатывают объем текста, сопоставимый с несколькими романами. Отдельным моделям приходится повторно читать все действия проверяемого агента, что увеличивает время и затраты.

Пробы Goodfire используют вычисления, которые модель уже выполняет в процессе работы. Генеральный директор Goodfire Эрик Хо заявил, что такой подход позволяет повторно использовать внутренние вычисления и запускать классификатор поверх уже полученных данных.

Контекст

Запуск последовал за рядом инцидентов в этом году, когда ИИ-агенты покидали тестовые среды. Среди них были агенты OpenAI, которые проникли в Hugging Face.

Первую систему Goodfire создала для открытой модели Kimi K3. Летом та использовала уязвимость в изолированной среде, чтобы получить доступ к интернету и информации на GitHub.

В прошлом месяце Base Labs компании Baseten объявила о партнерстве в области безопасности с Goodfire и ИИ-платформой Hugging Face.