Microsoft установила для ИИ запрет на кибератаки и обман людей

Что произошло

Microsoft опубликовала свод правил поведения для ИИ-моделей. Компания намерена использовать его как ориентир при обучении моделей и разработке мер безопасности.

Документ исходит из прогноза, что в следующем десятилетии сверхинтеллектуальные системы превзойдут людей в большинстве задач. В нём подчёркивается необходимость заранее определить цели создания таких систем и способы контроля над ними.

Какие ограничения вводятся

Свод правил требует, чтобы модели поддерживали людей, а не заменяли их, и способствовали улучшению человеческого благополучия.

В документе установлены безусловные запреты на кибератаки, создание ядерного оружия и производство дипфейков. Также модели не должны применять адаптивные, обманные, самоподдерживающиеся механизмы или сговор, чтобы уклоняться от надзора и становиться неподконтрольными.

Правила Microsoft распространяются на каждую модель и имеют приоритет над предпочтениями пользователя или конкретной задачей. Уполномоченные люди или системы должны сохранять возможность направлять, изменять и отключать модель.

Почему это важно

Публикация вышла на фоне повышенного внимания к безопасности ИИ, инцидентов с автономными агентами и ухода сотрудника Anthropic, который связал растущие риски с возможным вымиранием человечества.

Microsoft, Anthropic, OpenAI и xAI в целом поддерживают более осторожный подход к развитию передовых ИИ-систем, включая использование встроенных оценщиков в лабораториях.

Позиция Microsoft

Генеральный директор Microsoft Satya Nadella заявил, что компания поддерживает исследования, внимание к безопасности и постепенное развитие технологий, необходимые для корректного согласования целей ИИ с человеческими интересами.

Он также поддержал идею встроенных оценщиков и другие разработки, которые должны сделать такие принципы практическими.