MIT
Американські нейробіологи подарували згортковій нейромережі первинну зорову кору і вберегли її від помилок, зумовлених найменшими змінами зображення. Три моделі з новим шаром стали приблизно в чотири рази більш стійкими до розмитих зображень і не піддалися на навмисно перекручені дані. Роботу розробники представлять на конференції з машинного навчання NeurIPS, на сайті якої можна ознайомитися зі статтею.
Як обманути нейромережу?
Сьогодні нейромережеві алгоритми навчилися з високою точністю розпізнавати об'єкти різних класів, але в останні роки все більшу кількість дослідників звертають увагу на характерну проблему багатьох алгоритмів такого типу - вразливість до змагальних прикладів. Ці вхідні дані, які спеціально спотворені таким чином, щоб змусити нейромережу видати некоректний результат. Їхня особливість полягає в тому, що іноді різниця у зображеннях непомітна навіть для людини. Наприклад, американські дослідники показали, як невелика зміна освітлення може змусити безпілотний автомобіль з'їхати з дороги. Або іноді достатньо просто повернути об'єкт на фото, щоб збентежити нейромережу.
Через те, що нейромережеві алгоритми набувають все більшого поширення у сферах з високою відповідальністю, їх потрібно не просто навчити відрізняти спотворені дані, а і не реагувати на них. Група нейробіологів з Массачусетського технологічного інституту, Гарвардського університету та IBM розробила спосіб зменшити цю уразливість, додавши до нейромережевих моделей новий шар, що імітує найперші етапи обробки зображень нашим мозком. У новому дослідженні вони показали, що цей шар значно підвищив стійкість моделей до подібних помилок.
Чим їй допоможе первинна зорова кора?
Імпульси від нейронів сітківки ока надходять в зорову кору головного мозку. Її основний шар, який розвинувся раніше за інших — первинна зорова кора(V1), розташована в потиличній частці обох півкуль. З точки зору еволюції, ця передача зображення — базова і є у більшості тварин. Вона відповідає за обробку всіх свідомо сприйнятих зорових стимулів. V1 має дуже чітко визначені карти просторової інформації: наприклад, у людини, верхній край шпорної борозни реагує на інформацію з нижньої половини поля зору (нижче центру), а нижній край шпорної борозни — на інформацію з верхньої. Так відбувається трансформація візуального образу від сітківки до первинної зорової кори. Відповідність між об'єктом і в суб'єктивному полі зору дуже точне: у V1 відображаються навіть сліпі плями.
Нині кращий захист нейромереж від ворожих атак — це дорогий процес навчання моделей розпізнавання змінених зображень. Однак модель вчених з додатковим шаром V1 не вимагає додаткового навчання, а крім того, навіть краще справляється з широким спектром спотворень, типу розмивання зображення, або великої кількості шумів на ньому.
Як працює нова нейромережа?
На початку у своєму дослідженні вчені проаналізували ефективність 30 нейромереж і з'ясували, що моделі, чиї внутрішні реакції подібні поведінці мозку у V1, також менш уразливі для атак противника. Тобто, наявність більш схожого на V1 шару зробило модель більш надійною. Для подальшого тестування і використання цієї ідеї дослідники вирішили створити свою власну модель з таким додатковим шаром, засновану на наявних нейробіологічних моделях. З додаванням V1, який також реалізований у вигляді згорткової нейронної мережі, у трьох з цих моделей вони виявили приблизно в чотири рази більшу стійкість до помилок на зображеннях, порушених змагальними даними. Крім того, моделі були менш уразливі для неправильної ідентифікації об'єктів, які були розмиті або якимсь чином спотворені шумами. Зараз дослідники намагаються визначити ключові особливості своєї моделі, які дозволяють їй краще протистояти атакам супротивника, що може допомогти їм зробити майбутні моделі ще більш надійними. Однією з великих переваг моделі, за словами вчених, є те, що ми можемо зіставити компоненти моделі з конкретними популяціями нейронів в головному мозку і використовувати це як інструмент для нових відкриттів у нейробіології.