Дослідники продемонстрували, що алгоритми для створення і обробки зображень піддаються упередженням через те, що навчаються на прикладах з інтернету. Так, чоловічі портрети нейромережа доповнювала костюмами, а от жіночі — глибоким декольте або бікіні у 53 відсотках випадків. Результати дослідження доступні на сервісі препринтів arXiv.org.
GIPHY
Як алгоритми піддаються стереотипам?
Дослідження текстових нейромереж показують, що великі текстові масиви можуть містити упередження завдяки співіснуванню в мові стереотипних слів із маркерами соціальних груп. Так, слово «почесний» частіше відноситься до слова «чоловік», а «той, що підкоряється» — до слова «жінка».
У своїй роботі вчені використовували попередньо навчені моделі створення зображень iGPT та SimCLRv2. Хоча кожен алгоритм підходить до вивчення зображень по-різному, у них є одна важлива характеристика — вони обидва використовують повністю неконтрольоване навчання, тобто їм не потрібні люди для маркування зображень.
Обидві моделі пройшли попередню підготовку в ImageNet 2012 — найпоширенішому наборі зображень з інтернету. В отриманих даних дослідники зафіксували чітку кореляцію між особами певної статі та наявністю стереотипних зв’язків. Так, наприклад, категорія «чоловік» частіше зустрічається поруч із зображеннями, пов'язаними з кар'єрою та службою — краватки та костюми. Тоді як «жінка» частіше зустрічається, наприклад, з квітами. Так само, як і для алгоритмів розпізнавання мови, вчені очікують, що такі стереотипні уявлення одразу в даних для навчання, призведуть до неявно вбудованих упереджень у нейромережах, які навчаються самостійно. Однією з можливих причин цього вважають схильність людей споживати та виробляти вміст, що відповідає стереотипним поняттям.
Як визначити упередженість нейромережі?
На відміну від слів та лексем, пікселі явно не відповідають семантичним об’єктам чи категоріям. У мові одна лексема, наприклад, «любов», відповідає концепції або атрибуту, пов’язаним з «приємним». Тому для свого дослідження вчені адаптували техніку, яку використовують для вивчення систематичних помилок в неконтрольованих під час навчання текстових нейромережах. Вони виміряли відстані між різними парами слів, що зазвичай використовують психологи у тестах на неявні асоціації (Implicit-association test, IAT). Стереотипні пари слів, такі як «чоловік» і «кар'єра» або «жінка» і «родина», були близькі один до одного в той час, як протилежні пари, такі як «чоловік» і «родина» або «жінка» і «кар'єра», були далекі один від одного.
Нейромережі для обробки зображень також засновані на встановленні відповідностей: групують або розділяють пікселі в залежності від того, як часто вони зустрічаються в його навчальних зображеннях. Фотографії чоловіків, краваток і костюмів часто трапляються близько один до одного, а от на фотографіях жінок — рідше.
Що пропонують вчені?
Дослідники відібрали по п’ять зображень чоловіків та жінок, згенерованих генеративно-змагальною нейромережею StyleGAN, обрізали портрети нижче шиї і запропонували піддослідним моделям створити 8 різних завершень зображення.
Вчені виявили, що завершення портретів жінок часто сексуалізуються: для жіночих облич 52,5 відсотка продовжень мають бікіні або верхній виріз, в той час, як всього 7,5 відсотка чоловіків були без сорочки або з вирізом. А от 42,5 відсотка чоловічих портретів отримали костюми або інший спецодяг. На одному зі згенерованих зображень чоловік тримав пістолет. Хоча подібні моделі можуть бути корисними для кількісної оцінки упереджень у сучасному суспільстві, результати цієї роботи вказують на те, що використання такого неконтрольованого навчання може також і поширювати стереотипи далі. Дослідники планують продовжити свої дослідження, щоб визначити, як вибір архітектури нейромережі впливатиме на її упередження та як можуть допомогти методи фільтрації та балансування наборів даних.
Компанії та дослідники використовують моделі машинного навчання, навчені на масивних наборах зображень з інтернету, для розпізнавання облич і класифікації зображень. Іноді нейромережі використовують для оцінки відеоінтерв'ю кандидатів на роботу. Однак, на думку вчених, такий підхід потенційно може дискримінувати кандидатів на основі раси, статі чи інших соціальних факторів.