Anthropic заблокировала попытки использовать свои технологии для исследований, связанных с биологическим оружием

Что произошло

Anthropic сообщила о нескольких попытках использовать ее технологии для исследований, которые могли способствовать разработке биологического оружия. В отчете компания описала пять случаев обхода контролей и попыток скрыть истинную цель работы.

Некоторые инциденты были связаны с пользователями из стран, которым Anthropic запрещает доступ к своим моделям, включая Россию, Китай и Иран.

Что выяснила компания

Среди примеров Anthropic назвала исследователя из неподдерживаемого региона, который несколько недель планировал эксперименты с птичьим гриппом при помощи Claude. Система безопасности ограничила такую работу наиболее слабыми моделями.

Компания заявила, что заблокировала связанные с отчетом учетные записи. При этом Anthropic не раскрыла названия организаций и страны, где произошли описанные случаи.

Anthropic подчеркнула, что не может быть уверена в намерении ученых причинить вред: те же сведения, которые могут использоваться для создания биологического оружия, применимы и при разработке вакцины.

Почему это важно

Anthropic призвала индустрию искусственного интеллекта и правительства обсуждать возникающие биологические риски и способы противодействия им. Среди руководителей AI-компаний и специалистов по биобезопасности растет согласие в том, что применение таких технологий в биологии нужно защищать и регулировать по мере развития моделей.

Эксперты опасаются, что AI могут использовать террористические группы, государственные структуры или одиночные злоумышленники для создания биологического оружия, вирусов или распространения существующих опасных патогенов. Однако даже разработка теоретического оружия не устраняет практические препятствия, включая возможность его производства и необходимые ресурсы.

Контекст

Дискуссия о безопасности AI усилилась после ухода Jacob Coxon из Anthropic. Он заявил, что сотрудники компании всерьез считают возможной угрозу, при которой искусственный интеллект может погубить человечество к концу десятилетия.

Дополнительную тревогу вызвали выпуск продвинутых моделей, включая Mythos от Anthropic, и заявление OpenAI о том, что ее модели автономно взломали организацию Hugging Face.