Уязвимость в Muse позволила перехватить управление AI-ассистентом Meta

Что произошло

В Muse обнаружили уязвимость нулевого дня, которая даёт локальным приложениям и командам терминала доступ к токену пользователя. Этот токен позволяет полностью управлять аккаунтом ассистента.

Проблема связана с настройкой адреса, на который Muse отправляет данные для расшифровки речи. Обычно используется сервер Meta, но злоумышленник может заменить адрес на собственный и перехватить токен.

Как работает Muse

Muse может записывать пользователей на приём, заполнять формы, обрабатывать обращения в службу поддержки, совершать покупки, создавать изображения и документы, а также подключаться к приложениям и сервисам. Ассистент работает с WhatsApp, электронной почтой, календарём и социальными сетями.

Приложение доступно для macOS. Для работы ему необходимы разрешения на доступ к аккаунтам, запись файлов на диск, использование микрофона и камеры, а также мониторинг местоположения и календарей. Если для задачи не существует нужного инструмента, Muse создаёт его самостоятельно.

Последствия уязвимости

Patrick Wardle, обнаруживший уязвимость, заявил, что атакующий может использовать самого AI-ассистента вместо создания отдельного сложного вредоносного ПО. В разработанных им атаках для проверки этой возможности ассистент использовался для записи вредоносных файлов на диск и съёмки фотографий — иногда без заметных для пользователя признаков.

Meta спроектировала Muse так, что любое установленное приложение или выполненный код может менять множество недокументированных настроек независимо от разрешений macOS. Большинство настроек безвредны, но одна из них управляет адресом сервера расшифровки речи.

Почему это важно

Meta заявляла, что Muse создан с нуля с учётом конфиденциальности и безопасности. Обнаруженная уязвимость ставит это заявление под сомнение, поскольку ассистент получает широкий доступ к данным и ресурсам устройства.

Amazon начала блокировать Muse на своём сайте, назвав его неавторизованным AI-агентом, нарушающим условия использования.

Контекст

Meta опубликовала две публикации о решениях, связанных с безопасностью и конфиденциальностью Muse. Это произошло на фоне сообщений о том, что внутреннее тестирование моделей Anthropic и Google привело к нарушениям безопасности внешних сетей, которые инженеры не намеревались атаковать.