Обман систем обнаружения человека с помощью цветных картинок

Обманывать систему обнаружения человека, основанную на искусственном интеллекте, с помощью цветных картинок, напечатанных на бумаге, смогли исследователи из бельгийского Лёвенского католического университета. Организованная ими атака является «конфронтационной» — она ведётся с использованием другой системы, которая базируется на принципах глубокого обучения.

Изначально коллектив учёных разбирался с тем, как можно сбить с толку обнаружитель объектов, применяемый, например, в беспилотных автомобилях. Для этого кусок бумаги прикреплялся на знак остановки. Постепенно у авторов созрела идея применить полученные результаты к системам обнаружения человека. Несмотря на то, что люди дают несравнимо больший разброс вариантов внешнего вида, чем знак остановки, исследователи смогли вводить в заблуждение механизм их обнаружения.

В ходе исследования система машинного обучения генерировала массивы данных, которые переводились в формат изображений. С их помощью и производился затем обман аналитического алгоритма обнаружения объектов.

В одном из вариантов эксперимента системе машинного обучения иногда сообщали про изображение человека, что объект на нём не является человеком. Так исследователи минимизировали класс объектов «человек». В результате создавался образец, который идентифицировался иначе, например «плюшевый медведь», а не «человек».

Другой подход, который был признан более результативным, состоял в том, чтобы система машинного обучения «думала», что ей не представлено вообще никакого объекта. Так было минимизировано число объектов, которые может обнаружить атакуемая система. Когда перед камерой стоял человек и держал в руках картинку, сгенерированную первой системой, вторая не обнаруживала этого человека.

Далее исследователи проверили свои результаты в реальных условиях и выявили несколько ограничений. Оказалось, что их метод работает только при размещении картинки прямо перед камерой и не всегда устойчив по отношению к её повороту и изменению масштаба. Кроме того, для того, чтобы применять метод в разных условиях, нужно каждый раз генерировать разные картинки.

Однако самое слабое место найденного метода состоит в том, что для успеха атаки, нужно знать, какая именно это система обнаружения объектов. Метод обмана требует, чтобы атакуемая система имела открытый код, и не работает против «чёрного ящика». По мнению некоторых экспертов, данное исследование демонстрирует важность использования проприетарных систем видеоаналитики. Проприетарность алгоритма защищает его от изучения злоумышленниками.