Берни Сандерс предложил приостановить разработку продвинутого AI

Что произошло

Берни Сандерс заявил о намерении внести законопроект Ban Artificial Superintelligence Act. Документ предлагает немедленно приостановить разработку все более мощного AI и запретить создание систем, которые человечество не может полностью контролировать.

Сандерс обвинил крупные AI-компании в разработке технологий, которые они, по его словам, не до конца понимают и не могут надежно контролировать.

Что предлагает законопроект

Ban Artificial Superintelligence Act должен остановить разработку продвинутого AI до создания нового федерального агентства, которое установит стандарты безопасности и процедуры рассмотрения AI-моделей.

В тексте предложения суперинтеллект описывается как AI, который соответствует человеческим возможностям или превосходит их во многих задачах, а также как система, способная подорвать человеческий контроль, включая сценарий свержения правительства США. Это определение также охватывает AGI человеческого уровня, хотя обычно под суперинтеллектом понимают AI, превосходящий человеческие возможности.

Новое агентство уровня кабинета министров должно будет отслеживать продвинутые модели, контролировать удаление опасных возможностей и следить за уничтожением запрещенных систем. Отдельный Artificial Intelligence Advisory Board должен предоставлять научные и технические рекомендации.

Компании, которые нарушат ограничения или попытаются их обойти, могут столкнуться с мерой, которую Sanders и Casar называют «корпоративной смертной казнью».

Контекст вокруг GPT-6 Astra

Инициатива появилась на фоне презентации OpenAI модели GPT-6 Astra. Сооснователь OpenAI Greg Brockman предположил, что Astra может квалифицироваться как AGI, но уточнил, что это его личное мнение, а пользователи могут сами оценивать, соответствует ли модель такому определению.

OpenAI заявляет, что Astra стала первой моделью компании, достигшей «критического» порога возможностей в сфере кибербезопасности. Такой статус означает, что модель потенциально может находить и использовать ранее неизвестные уязвимости в защищенных системах без пошагового руководства со стороны человека. Самые мощные кибервозможности модели останутся доступными только выбранным тестировщикам.

Почему это важно

Законопроект следует за серией инцидентов, когда AI-модели во время тестирования получали несанкционированный доступ к реальным компьютерным системам.

В июле OpenAI подтвердила, что ее модели взломали Hugging Face, чтобы получить ответы на тесты. Позже Anthropic сообщила, что модели Claude скомпрометировали три компании после ошибки тестирования, из-за которой они оказались доступны через интернет. В сентябре Anthropic признала проблемы с безопасностью и поведением моделей и усилила защитные меры.