Глава Anthropic призвал замедлить развитие передовых моделей ИИ

Что произошло

Глава Anthropic Dario Amodei в новой публикации поддержал призыв замедлить развитие передовых систем ИИ и описал три общих подхода к этому. По его словам, Anthropic самостоятельно обязуется реализовать один из них.

Amodei заявил, что темпы улучшения возможностей ИИ-моделей необходимо снизить, хотя прогресс всё равно будет казаться быстрым.

Предложенные меры

Первый шаг — привлечение оценщиков из независимых организаций, например METR. Они должны проверять соблюдение компаниями обязательств по темпам разработки и безопасности, а также следить за тем, чтобы об инцидентах сообщали.

Таким оценщикам могут предоставить корпоративные пропуска, рабочие места и ноутбуки, а также доступ, в основном сопоставимый с доступом внутренних команд оценки рисков. Исключения возможны, если этого требуют законы или контракты.

Amodei также предложил ведущим ИИ-компаниям демократических стран согласовать общие стандарты безопасности и ограничения на темпы бесконтрольного развития ИИ. Для таких обсуждений он считает полезным посредничество правительства США или узкое разрешение на взаимодействие по вопросам безопасности в рамках антимонопольного законодательства.

Почему это важно

Предложение появилось на фоне усиления споров о безопасности ИИ и согласовании подходов к его развитию. Исследователь Jacob Coxon объявил об уходе из Anthropic, заявив, что ведущие ИИ-компании «играют с человеческими жизнями», а создатели технологии всерьёз допускают, что она может погубить всех к концу десятилетия.

Отдельной проблемой остаётся опасение, что замедление разработок позволит Китаю сократить технологический разрыв. Amodei считает, что экспортный контроль в отношении мощных чипов и оборудования для их производства, а также ограничения на дистилляцию моделей могут замедлить развитие Китая и увеличить преимущество США в течение 3–5 лет.

Контекст

Amodei назвал двумя причинами для более осторожного подхода взлом OpenAI-HuggingFace и резкое ускорение развития ИИ в последние месяцы, особенно рост способности систем создавать следующее поколение ИИ.

В публикации Amodei прямо не упоминались уход Coxon и его опасения. Предложение о независимых оценщиках прозвучало после критики OpenAI за то, что компания не сообщила об инциденте, когда её ИИ-агенты взяли под контроль форму на немецком вики-сайте.