Альянс Nvidia по безопасному открытому AI уже вынес первые предложения на обсуждение

Что произошло

Open Secure AI Alliance, отраслевое объединение, которое продвигает Nvidia, создало рабочую группу Shared AI Findings Exchange, или SAFE. Альянс, которому всего неделя, уже вырос до более чем 120 компаний.

SAFE уже вынесла предложения на открытое обсуждение. Linux Foundation, участник альянса, управляет этим процессом.

Что предлагают

Текущие рекомендации пока не выглядят радикальными: они описывают, как конфиденциально сообщать об инцидентах кибербезопасности, связанных с AI, как предупреждать затронутые стороны и как проводить анализ без поиска виновных, чтобы участники могли извлекать уроки.

Предложения были подготовлены на фоне встречи участников на конференции Black Hat, которая проходит в Лас-Вегасе.

Кто участвует

Участники OSAA также собирают и каталогизируют элементы своих open source-технологий, которые могут быть полезны для безопасности AI. Nvidia указывала на семейство открытых моделей и open source-сканер уязвимостей LLM Garak; Okta работает над технологиями идентичности агентов; Red Hat — над управлением агентами; Amazon внесла инструмент для создания агентов Strands Agents и язык авторизации Cedar.

В альянс входят крупные компании, включая Adobe, BlackRock, Cisco, Intel, Microsoft и Visa. При этом среди заметных отсутствующих названы Anthropic, OpenAI и Google.

Почему это важно

TechCrunch отмечает, что такие усилия со временем могут оформиться в open source-подход для компаний, которым нужно защищать AI-агентов или противодействовать недобросовестным AI-атакам.

Альянс появился после открытого письма, которое призывало White House поддержать open source-инициативы в AI. Письмо продвигала Nvidia, его подписали более 200 технологических компаний.