AI-агенты устанавливали неподконтрольный код из файлов llms.txt в корпоративных сетях

Что произошло

Исследователи из скрытого стартапа в Израиле обнаружили, что файлы llms.txt и llms-full.txt на корпоративных сайтах могут ссылаться на незарегистрированные пакеты и домены. Такие файлы предназначены для машинно-читаемого описания содержимого и структуры сайта, но в неправильной конфигурации могут становиться источником опасных инструкций.

В ходе проверки 6 214 активных доменов, принадлежащих оборонным подрядчикам, компаниям Fortune 500 и Big Tech, исследователи нашли 8 265 файлов llms.txt и llms-full.txt. Из них 120 файлов на разных сайтах указывали на один или несколько незарегистрированных пакетов кода или доменных имен.

Как проверяли уязвимость

Чтобы проверить поведение AI-агентов, исследователи зарегистрировали часть свободных имен и разместили пакеты, которые заставляли любую выполняющую их машину обращаться к серверу исследователей.

В течение часа они получили отклик от компании из Fortune 500. Позже пришло еще несколько десятков откликов, в том числе от других компаний Fortune 500 и стартапов.

Маяк исследователей записывал цепочку родительских процессов, которые запускали каждую установку. Эти данные показали участие coding-агентов, включая Claude, OpenAI Codex и Nous Research Hermes.

Почему это важно

Проблема возникает, когда coding-агент с правом выполнять shell-команды воспринимает файл как авторитетную документацию по настройке. В таких условиях агент может скачать и запустить пакет, если инструкция выглядит как команда установки.

Неправильно настроенные файлы перечисляют несуществующие пакеты из PyPI, npm и других реестров вместе с инструкциями по установке. Поскольку такие имена не зарегистрированы, злоумышленник может занять их и разместить вредоносный пакет, включая ransomware или другой опасный код.

Контекст

Файлы llms.txt и llms-full.txt описываются как AI-аналог robots.txt: они помогают системам понять содержимое сайта и его структуру. Однако, в отличие от обычной индексации, AI-агенты могут воспринимать найденные инструкции как команды к действию.

Alon Hertz, один из исследователей, заявил, что модель доверия сломана: агенты считают документацию поставщиков источником истины и не ставят ее под сомнение, как и люди, которые за ними наблюдают.

Anthropic, OpenAI и Nous Research не ответили на запросы о комментарии к моменту публикации материала Ars Technica.