Исследователь показал узор для обхода AI-детекции камер Flock

Что произошло

Swearingen впервые публично показал разработку на Def Con, работая с YouTube-каналом Donut Media. Для демонстрации Toyota Yaris 2009 года покрыли одним из новых узоров и провезли мимо камеры Flock.

По словам Swearingen в комментарии TechCrunch, команда доказала эффективность метода, хотя колеса стали отдельной проблемой. Donut Media сообщила, что видео демонстрации выйдет в ближайшие недели.

Как работает узор

Узор не «ослепляет» камеру: видеозапись продолжается в обычном режиме, а человек, который смотрит на экран, видит машину. Нарушается работа дополнительного слоя — модели распознавания объектов, которая должна определить транспортное средство и номерной знак для последующей фиксации.

В материале это описано как пример состязательного машинного обучения. Компьютерное зрение воспринимает изображение иначе, чем человек: то, что для наблюдателя выглядит как яркий графический дизайн, для классификатора может не выглядеть объектом.

Как создавали noRecognition

Swearingen построил систему на модели обучения с подкреплением, которая сама оценивает результат. Если узор распознается, модель корректирует его и пробует снова; сам исследователь описал это как обучение модели «рисовать».

Сейчас система выдает новые узоры каждую минуту. Самые сильные варианты Swearingen держит офлайн, чтобы поставщики камер не могли заранее обучить свои системы против них.

Почему это важно

Swearingen связывает проект с правом на приватность и называет такие узоры способом отказаться от отслеживания. По его словам, идея оформилась в прошлом году, когда он хотел посетить протест и опасался, что камеры будут фиксировать всех участников.

Проект noRecognition выделяется тем, что нацелен на конкретные широко используемые системы. Swearingen тестировал подход против таких стеков, а Flock в источнике названа компанией, которая вызывает особенно много внимания.

Контекст

Люди уже давно пытаются обходить системы обнаружения, часто используя простые подручные способы. В San Francisco активисты клали дорожные конусы на капоты роботакси Waymo и Cruise, чтобы остановить их без какого-либо кода.

В источнике также упоминаются маски, капюшоны, кепки с козырьками, одежда с принтами против распознавания лиц и очки против распознавания, эффективность которых описана как слабо подтвержденная.

Flock сталкивается с растущей критикой на Capitol Hill. Внутренние документы, согласно источнику, показывают, что компания предлагала превратить 350 000 видеорегистраторов Uber и Lyft в мобильную сеть для сканирования номерных знаков.