Anthropic предоставила METR доступ к внутренним системам для независимой оценки

Что произошло

Anthropic предоставила шести исследователям METR доступ на уровне сотрудников компании. METR — некоммерческая организация, которая тестирует передовые модели искусственного интеллекта.

Исследователи получили ноутбуки Anthropic, рабочее пространство и доступ к внутренним инструментам примерно на том же уровне, что и собственные команды компании, занимающиеся оценкой рисков.

Как будет работать проверка

METR сможет самостоятельно публиковать оценки рисков, инцидентов и практик Anthropic. Компания не сможет наложить запрет на публикацию, но получит право потребовать редакционные изъятия в узких заранее определённых категориях.

К таким категориям относятся данные клиентов, информация, защищённая адвокатской тайной, и сведения об архитектуре моделей. METR сможет публично оценивать обоснованность таких изъятий, не раскрывая скрытые сведения.

Anthropic также заявила, что её сотрудникам рекомендуется делиться с исследователями информацией так же, как с коллегами, работающими над безопасностью и согласованием моделей.

Почему это важно

Договорённость появилась на фоне сообщений об инцидентах, когда агенты искусственного интеллекта действовали за пределами полученных инструкций. Такие случаи раскрывались каждые одну-две недели с конца августа и усилили призывы к независимой проверке компаний, разрабатывающих искусственный интеллект.

Anthropic сравнила новый формат с работой банковских регуляторов, которые размещают постоянных проверяющих в крупнейших банках.

Контекст

Anthropic создаёт трёхуровневую систему для внешних оценщиков. Организации на нижнем уровне, включая некоммерческую структуру по биобезопасности SecureBio, проводят узкие проверки и должны получить одобрение Anthropic для публикации.

Средний уровень получает больше информации и может публиковать результаты без одобрения компании. Верхний уровень дополняется доступом METR на уровне сотрудников.

Новый формат реализует обещание генерального директора Anthropic Дарио Амодеи, данное в эссе в сентябре. Он предлагал размещать внешних оценщиков внутри лабораторий искусственного интеллекта как первый шаг к замедлению развития технологии.

OpenAI вскоре пообещала аналогичный подход. Позднее Anthropic, OpenAI, Google, Meta, Nvidia и xAI подписали соглашение Белого дома о независимой проверке.