Розробники навчили нейромережу визначати на людському обличчі місця, на які зверне увагу система розпізнавання облич, та підбирати для них непомітний макіяж, щоб не привертати увагу ані оточуючих, ані системи. 20 добровольців, що скористалися допомогою алгоритму, знизили точність розпізнавання свого обличчя системою з 47,5 до 1,2 відсотка. Препринт статті, як вчені вводили в оману системи розпізнавання обличчя, доступний на сервісі arXiv.
Як працює метод: нейромережа шукає визначальні риси обличчя, пропонує спосіб їхнього маскування, а затим людина вже виглядає незнайомою для системи розпізнавання. Nitzan Guetta et al.
Як впізнають наші обличчя?
Системи розпізнавання облич як правило використовуються для ідентифікації побачених камерою спостереження осіб, занесених в «білий» список, або оповіщення про осіб, які внесені в «чорний» список. Послідовність кадрів з камер потрапляє в руки алгоритму, а той в свою чергу створює орієнтири на обличчях. Ця попередня обробка перетворює кожну особу на зображенні індивідуально під вхідне зображення, яке передається для аналізу глибинним нейромережам, які порівнюють ці орієнтири з іншими зображеннями у своїй базі. В кінцевому підсумку особистість людини визначається на основі найвищого показника подібності, який перевищує певний поріг. Такі методи активно використовуються в громадських місцях, включаючи метро, аеропорти, а також на підприємствах замість пропусків.
Втім, нейромережі, що використовуються в системах розпізнавання, можна обдурити, а способи ввести їх в оману можна розділити на дві категорії. До першої категорії відносяться цифрові маніпуляції, наприклад, додавання до зображення деякого ретельно обробленого шуму. До другої категорії відносяться способи обману вже в реальній площині, коли алгоритм обманюють безпосередньо тим, що він бачить. Це може бути, наприклад, друк спеціальних візерунків на оправі окулярів, наклейки на обличчі, яскравий макіяж і схожі маніпуляції. Правда, зробити це непомітно для оточуючих досить складно.
Як сховатися від алгоритмів?
Ізраїльські та японські дослідники розробили нейромережу, яка може підказати, де застосувати макіяж, щоб обдурити системи розпізнавання облич. Її робота складається з двох етапів. Спершу алгоритм намагається повторити за системами розпізнавання і шукає на обличчі ті самі орієнтири, які можна вважати унікальними. У результаті, у вигляді теплової карти на зображенні обличчя людини виділяються області, які, на думку систем розпізнавання осіб, найкраще ідентифікують людину. Потім ця цифрова теплова карта використовується для створення цифрової проєкції макіяжу, яку можна використовувати як інструкцію для нанесення макіяжу в реальному світі, щоб не дати себе впізнати. Важливо відзначити, що нейромережа не покладається на яскраві кольорові палітри, а обмежується використанням природних відтінків макіяжу. Щоб зображення виглядало природно, розробники використовували тільки тіні, рум'яна і помаду, а також контурування і зміну форми брів. Тобто макіяж не використовувався для малювання візерунків на обличчі, які можуть привернути увагу, а також не використовувалися синій, зелений, білий і інші кольори, які зазвичай не використовуються у щоденному макіяжі. Це важливо, адже це дозволяє одночасно уникати впізнавання, не привертаючи до себе уваги оточуючих.
Тестування проводилося на десяти чоловіках і десяти жінках у віці від 20 до 28 років. Кожен учасник був внесений до чорного списку експериментальної системи. Під час випробування, вчені використовували три фронтальних зображення кожного учасника, два з яких були попередньо зареєстровані. Третій використовувався для створення двох додаткових зображень: одне з макіяжем, запропонованим алгоритмом, а інше з випадковим. Використання запропонованого нейромережею макіяжу знизило показник успішності розпізнавання осіб з 42,6 відсотка до 0,9 відсотка у жінок і з 52,5 відсотка до 1,5 у чоловіків.
Дослідники не вперше шукають способів збити алгоритми з пантелику. Наприклад, вони перевіряли згорткові нейромережі на стійкість до оптичних ілюзій та з'ясували, що невелика кількість згорткових шарів робить нейромережі такими ж вразливими, як і люди. Так само нейромережі для обробки зображень піддалися на стереотипи і на прикладах з інтернету доповнили чоловічі портрети костюмами, а жіночі — глибоким декольте або бікіні. Хоча наділена первинною зоровою корою нейромережа не піддалася на обман і правильно ідентифікувала навіть спотворені шумом зображення, а навчений звертати увагу на зіниці ока алгоритм відрізнив справжнє фото від згенерованого.