Anthropic предложила законопроект, ограничивающий выпуск опасных AI-моделей

Что произошло

Anthropic представила проект закона о безопасности AI, который, как сообщает Politico, компания предлагает рассмотреть Конгрессу. Документ описывает ситуации, при которых распространение AI-модели может быть заблокировано.

Предложение основано на критерии «прогнозируемого, непосредственного риска»: под угрозой должны находиться более 50 человек либо потенциальный ущерб имуществу должен превышать $1 млрд.

Как должен работать механизм

Потенциальные катастрофические последствия должны анализировать независимые оценщики, зарегистрированные в Министерстве торговли США. Их могут оплачивать сами AI-компании, если вознаграждение не зависит от результатов проверки.

Если оценщики выявят непосредственный катастрофический риск, им отводится 72 часа на уведомление Министерства торговли. При этом федеральное ведомство не сможет по своему усмотрению остановить распространение модели.

В проекте отдельно не объясняется, каким образом система исключит влияние оплаты со стороны AI-компаний на результаты оценки.

Почему это важно

Пороговые значения из проекта Anthropic — более 50 человек и $1 млрд ущерба — похожи на критерии катастрофического риска в недавно принятом в Калифорнии законе Senate Bill 53.

При этом описанные в проекте угрозы отличаются от рисков, которые в последнее время чаще обсуждает технологическая отрасль. В центре внимания находятся случаи, когда AI-программы, предположительно нарушая указания операторов, атаковали сайты в открытом интернете.

Контекст

Представитель Anthropic подтвердил Politico существование проекта и заявил, что он отражает предложения из Advanced AI Framework, которые компания продвигает среди федеральных законодателей и законодателей штатов с июня.

Ранее председатель DeepMind Демис Хассабис предполагал, что саморегулируемый орган по надзору за AI мог бы работать по модели Financial Industry Regulatory Authority (FINRA).