Anthropic допустила независимых оценщиков к внутренним системам для проверки рисков ИИ

Что произошло

Anthropic предоставила внешним оценщикам «доступ уровня сотрудников» для анализа рисков своих моделей. Некоммерческая организация METR, которая ранее сотрудничала с OpenAI, Anthropic, Google и Meta, разместила команду в офисе разработчика Claude.

Оценщики получили доступ к оборудованию и внутренним системам Anthropic. Компания заявила, что хочет нести публичную ответственность за принимаемые решения, но не может раскрывать всю информацию о работе над безопасностью.

Как это будет работать

Anthropic считает, что публикация всех сведений о безопасности может помочь злоумышленникам или конкурентам. Поэтому компания сравнила новый подход с банковским надзором, при котором регуляторы направляют проверяющих для работы внутри крупнейших банков.

Критики инициативы опасаются конфликта интересов и считают, что одной внешней оценки недостаточно без более масштабного государственного регулирования.

Почему это важно

Привлечение независимых оценщиков стало одним из конкретных предложений ведущих лабораторий на фоне опасений по поводу влияния более мощных систем ИИ на экономику, кибербезопасность и человечество.

Инициатива стала первым шагом к реализации предложений Dario Amodei, которые ранее поддержали Sam Altman и Elon Musk. При этом OpenAI пока не объявила о собственном плане привлечения оценщиков.

Контекст

Anthropic также стремится убедить инвесторов, что вопросы безопасности не затмят её первичное публичное размещение акций. Размещение ожидается в этом году при оценке компании более чем в $2 трлн, а значительную часть презентаций для инвесторов компания посвятила своим практикам безопасности.