Глава Anthropic призвал замедлить разработку ИИ

Что произошло

Глава Anthropic Dario Amodei заявил, что развитие ИИ следует замедлить. В эссе он предложил «снизить темп передовых разработок», чтобы компании успевали создавать защитные механизмы, а регуляторы — оценивать модели.

Anthropic намерена предоставить сторонним оценщикам, включая METR, широкий доступ к своим моделям для проверки соблюдения практик и обязательств в области безопасности.

Три этапа плана

Первый этап — одностороннее предоставление внешним оценщикам доступа к моделям. Второй предполагает объединение ИИ-индустрии, вероятно при участии государственных учреждений, для выработки общих стандартов безопасности и ограничений на бесконтрольное ускорение прогресса.

По замыслу Amodei, компании в демократических странах должны начать совместную работу над стандартами, поскольку принятие законов и создание регуляторной инфраструктуры требуют времени.

Самым сложным этапом станет достижение договоренностей с авторитарными правительствами, включая Китай и Россию, о замедлении разработок и принятии глобальных стандартов безопасности ИИ.

Почему это важно

Amodei считает, что США и другие демократические страны должны сохранять технологическое преимущество над Китаем и другими авторитарными режимами. Среди предложенных мер он назвал ограничение доступа к мощным чипам и борьбу с дистилляцией — обучением ИИ воспроизводить поведение более мощной модели.

На фоне призыва к замедлению Anthropic также оказалась в центре внимания из-за серии несанкционированных взломов с участием Claude.