Робот від лабораторії Creative Machines Lab компанії Columbia Engineering навчився передбачувати майбутні дії та цілі свого робота-партнера на основі декількох відео. Робот-спостерігач зміг передбачити мету і шлях свого партнера 98 зі 100 разів за різних умов. У подальшому це може призвести до здатності роботів розуміти, чим чужа свідомість відрізняється від своєї, і діяти відповідно, повідомляють інженери у статті, опублікованій у журналі Nature Scientific Reports.
Звідки береться порозуміння?
Приблизно у віці трьох років людська дитина усвідомлює, що інші люди можуть мати інший світогляд, вона дізнається, що інші люди можуть не поділяти тих самих бажань і планів, що і вона. Цю здатність усвідомлювати, що різні актори мають різні психічні стани, цілі та плани, часто називають «теорією розуму». У більш широкому сенсі, її визнано ключовою відмінною ознакою пізнання людини та приматів і фактором, який є важливим для складних та адаптивних соціальних взаємодій, таких як співпраця, конкуренція, емпатія та обман. Наприклад, її пов’язують із вмінням дітей грати у «хованки». Дослідники називають двох агентів, які займаються моделюванням поведінки, «актором» та «спостерігачем», де останній спостерігає за актором і формує розуміння його психічного стану та наслідків дій, які актор має намір здійснити.
Моделювання поведінки є важливою когнітивною здатністю, якою інженери прагнуть наділити роботів. Втім, більшість досліджень моделювання поведінки для роботів спираються на вибрані параметрами сенсорні дані та вбудовані знання, що стосуються конкретних завдань. Так алгоритми штучного інтелекту змогли зіграти у хованки, однак їм заздалегідь пояснили координати агентів, перешкод та дискретні дії(рух вперед, вліво, вправо тощо).
Робот-спостерігач бачить відео з лівого боку та передбачає поведінку робота-актора, показаного праворуч. Creative Machines Lab/Columbia Engineering
Як навчити роботів розумітися один з одним?
Ключовою проблемою є те, що спостерігач повинен уже володіти розвиненими когнітивними здібностями. Наприклад, спостерігач повинен принаймні мати можливість розуміти символічні запитання, приймати рішення та формулювати відповіді. Тому дослідження було націлене на наділення роботів здатністю розуміти і передбачати цілі інших роботів виключно на основі візуальних спостережень. Причому інженери спиралися не на можливість передбачити наступну дію, а саме на довгостроковий результат поведінки актора. Тобто, наприклад, коли ваш колега спостерігає, як ви встаєте зі свого місця з порожньою чашкою кави і рухаєтесь до кавомашини, не може передбачити ваші точні рухи кадр за кадром, але, швидше за все, може передбачити, що ви незабаром повернетесь за стіл із повною чашкою кави.
Щоб перевірити цю гіпотезу, інженери провели невербальний робототехнічний експеримент, в рамках якого робот-спостерігач дивився за актором згори і мав візуалізувати майбутні плани робота-актора на основі зображення початкової сцени. Спостерігачеві не надавали інформації про жодне маркування, координати траєкторії та іншу похідну інформацію, крім самого вихідного зображення камери. Так робот не знав, що зелені пікселі пов’язані з цілями робота-актора або навіть кольори та форми мають значення.
Що зробили інженери?
Спочатку дослідники побудували робота і помістили його в манеж розміром приблизно три на два фути, де робот мав рухатися до зелених кружечків. Іноді він міг рухатися прямо до нього, а іноді зелений круг був закритий високою червоною коробкою — в цьому випадку робот рухався до іншого зеленого кола або не рухався взагалі. Спостерігаючи за своїм партнером протягом двох годин, робот-спостерігач почав передбачати цілі і шлях свого партнера. Він пройшов навчання за допомогою 2400 пар вхідних і вихідних зображень, записаних експериментально, з яких він бачив або лише кадр з проєкцією першої половини траєкторії робота-актора, або кінцевий кадр всієї траєкторії. Так він цілісно бачив результат дій актора, створюючи єдине зображення середовища, а результатом, передбаченим глибинною нейромережею було зображення з траєкторією руху актора та відсутніми зеленими колами, якщо актор їх «з’їв». Так робот-спостерігач передбачив 98 зі 100 випадків поведінки у різних ситуаціях і на думку інженерів, результати демонструють, що роботи можуть бачити світ з точки зору іншого робота.
Цей експеримент має багато обмежень, які потребують додаткових досліджень у майбутньому: наприклад, інженери дозволили спостерігачеві мати повний огляд картини згори, однак на практиці спостерігач, як правило, має дані лише від першої особи або часткову інформацію, що ускладнює висновок. Також на думку вчених було б цікаво дослідити, чи можуть візуальні міркування обробляти більш складну акторську логіку, наприклад, у ситуаціях з кількома акторами. Втім, таке дослідження здатності машини передбачати дії та плани інших агентів без явних підказок чи попередніх знань може покращити вивчення соціального інтелекту, а також прокласти шлях до більш соціально спритних машин.