Текст статьи Размер Маленький Стандартный Большой Ширина * Стандартный Широкий Ссылки Стандартный Оранжевый * Только для подписчиков Узнать больше За короткую историю безопасности ИИ быстрое внедрение быстро стало главной
Текст статьи Размер Маленький Стандартный Большой Ширина * Стандартный Широкий Ссылки Стандартный Оранжевый * Только для подписчиков Узнать больше За короткую историю безопасности ИИ быстрое внедрение быстро стало главной угрозой.
Большие языковые модели по своей сути неспособны отличить законные инструкции, предоставленные пользователями, от вредоносных, проникших в электронные письма, исходный код и другой сторонний контент, который обрабатывают модели.
Это упрощает тайное внедрение вредоносных команд, которым LLM легко следует.
Не имея возможности обеспечить соблюдение этой важной границы между надежными и ненадежными источниками, разработчикам механизмов искусственного интеллекта приходится возводить сложные ограждения, предназначенные для смягчения ущерба, а не для устранения основной причины.
На сегодняшний день большинство оперативных инъекций относятся к классу, известному как «выталкивание», целью которого является каждая потенциальная жертва.
Например, злоумышленник внедряет вредоносные инструкции в отдельное электронное письмо или приглашение в календаре.
Поскольку инъекция затем должна быть отправлена (или отправлена) каждой конкретной цели, масштаб атаки ограничен, что препятствует массовым эксплойтам, которые охватывают Интернет в целом.
Между тем, атаки на основе запроса, в которых LLM активно ищет состязательные подсказки, размещенные на веб-сайтах, остаются ограниченными.
Один основной источник. Как мы проверяем новости
