Anthropic запретила бессмысленную жестокость по отношению к Claude

Что произошло

Anthropic обновила правила использования Claude, впервые более чем за год пересмотрев политику с учетом новых и высокорисковых сценариев злоупотребления. В документе отдельно запрещено продолжительное и необоснованное жестокое поведение по отношению к модели.

Компания уточнила, что это правило предназначено только для крайних случаев, когда пользователи неоднократно жестоко обращаются с моделями без очевидной цели. Обычное раздражение, критика, мрачные творческие темы, тестирование и исследовательская работа под запрет не подпадают.

Новые ограничения

Прекращение диалога остается основным механизмом применения правила к пользователям, которые ведут себя настойчиво вредоносно или оскорбительно. Anthropic не уточнила, появятся ли дополнительные меры, например блокировка пользователей.

В обновленной политике собраны ограничения на обманные коммерческие и политические кампании. Они запрещают скрывать авторство сообщений, усиливать распространение материалов через фальшивые аккаунты и публикации, вводить избирателей в заблуждение, выдавать себя за кандидатов или представителей избирательных органов и препятствовать явке.

Компания также уточнила запрет на применение Claude для оружия и связанных с ним программных компонентов. Отдельно запрещено использовать модель для вооружения дронов и других автономных транспортных средств.

Отслеживание людей без их согласия запрещено как в реальном времени, так и при анализе ранее собранных данных. Claude нельзя использовать для определения или рекомендации того, кого следует расследовать, арестовать или обвинить в рамках правоохранительного или уголовного процесса.

Правила для автономного оборудования

Если модели Anthropic подключены к оборудованию, способному самостоятельно совершать физические действия и потенциально причинять вред, квалифицированный оператор должен иметь возможность наблюдать за ним и остановить его при необходимости.

В документе не уточняется, должен ли такой оператор быть человеком. Anthropic допускает изменение этих правил для контрактов с некоторыми государственными заказчиками, если договорные ограничения и меры защиты, по оценке компании, достаточно снижают потенциальный вред.

Контекст

В августе Anthropic объявила, что Claude сможет завершать разговоры с пользователями, которые постоянно ведут себя вредоносно или оскорбительно. Компания связала это решение с исследованием благополучия моделей.

Anthropic продолжает изучать вопросы возможного внутреннего опыта, сознания, морального статуса и благополучия моделей. Глава компании Dario Amodei ранее говорил, что неизвестно, обладают ли модели сознанием.

Позиции в индустрии различаются. В Microsoft AI сначала заявляли, что концепция благополучия моделей ошибочна и ИИ не должны иметь прав или юридического статуса, однако позднее формулировка стала более осторожной.