Чотирилапий робот автономно пройшовся галькою і поковзав підлогою

Американські інженери розробили нову систему моторної адаптації для чотирилапого робота, щоб він сам вчився долати шлях новими середовищами. Так він автономно скотився піщаним насипом, втримався на политій олією підлозі і пройшовся травою та кам'янистим пляжем. Робот змінював свою ходу залежно від поверхні під ногами та вчився виключно на своєму досвіді. Статтю представлять на конференції 2021 Robotics: Science and Systems (RSS) Conference, а поки вона доступна на сервісі препринтів arXiv.

Робот втримався на политій олією підлозі. Legged Robots / YouTube

Робот втримався на политій олією підлозі. Legged Robots / YouTube

Як вчаться бігати чотирилапі?

У робототехніці для створених бігати роботів, а зокрема чотирилапих, стався прогрес в останні сорок років завдяки успіхам у моделюванні динаміки ходи та рухів, новим інструментам керування і звісно покращенню технічних характеристик конструкцій. Втім, інженерам перестало бути цікавим просто програмувати рухи, а тому вони швидко перейняли алгоритми навчання з підкріпленням або імітаційне навчання (повторення дій за іншими) для своїх розробок. Стандартний підхід — навчити алгоритм у змодельованому середовищі, а потім передати його знання роботу. Втім, з'ясувалося, що все ж розрив між зсимульованим і реальним світом досить значний. Імітація фізики не може замінити дійсну, адже в останній предмети деформуються, відповідають силою на взаємодію і тим паче не існують відокремлено від середовища. Тому роботи і не можуть з першого разу відкрити двері або падають за першої ж зустрічі з асфальтом замість лабораторної підлоги.

Щоб уникнути цього непорозуміння, вчені вирішили піти інакшим шляхом і вчити свого чотирилапого робота A1 від Unitree одразу «в полі». На це їх наштовхнула людська ходьба — ми вміємо швидко адаптуватися до нових середовищ, як-то пісок або галька, обираючи різний темп, а також вміємо йти під гору та вставати після падіння. Це інженери назвали швидкою моторною адаптацією (Rapid Motor Adaptation, RMA) та спробували перенести 12-кілограмовому чотирилапому із трьома двигунами на кожній лапі та 18 ступенями свободи.

Чого вчили робота?

Головною задачею було прилаштувати моторну адаптацію до режиму онлайн причому, аби рішення приймалося за кілька часток секунди, адже навчання через збирання даних за 3-5 хвилин для адаптації вже робить весь задум неефективним. Однак, і вивести робота одразу на кам'янисту поверхню було б зарано, бо без жодних знань про техніку ходи він одразу впаде. Тому стратегія інженерів полягала у попередньому навчанні ходьбі та створенні модуля адаптації, який вже допоможе обійти проведення експериментів у фізичному світі, а дасть змогу одразу відпустити робота бігати.

Тож спершу вчені за три години змусили алгоритм пройти (зімітувати) 80 мільйонів кроків, а затим вже відправили його проходити перешкоди. Тут вже підключилося навчання з підкріпленням. На відміну від попередніх робіт, чотирилапий майже нічого не знав про особливості реального світу, але вмів їх визначати і збирати у кожній новій ситуації. Тож без використання будь-яких еталонних демонстрацій, але за допомогою винагород, робот орієнтувався на єдину траєкторію, яку бачив за останню частку секунди, та підлаштовував під неї свої пропріоцептивні відчуття.

Legged Robots / YouTube

То робота можна відпускати гуляти самостійно?

Для чотирилапого інженери провели безліч випробувань: пройти три метри із навантаженням, піднятися на сходинку, подолати 1,8 метра монтажної піни та 0,6 метровий матрац із ефектом пам'яті, справитися із намащеною олією підлогою, піском, брудом, будівельним сміттям та іншими незручними для ходи поверхнями. Ефективність оцінювали за двома спробами — на третій робота вже визнавали нездатним долати шлях, щоб мінімізувати можливі пошкодження. Так робот, що використовував RMA значно перевищив успіхи у разі експериментів без нього. Наприклад, у тесті із корисним навантаженням (його до речі просто кинули йому на спину), робот без нового алгоритму зміг впоратися з корисним навантаженням, що перевищує заявлену вагу (5 кілограмів), але почав провисати і у підсумку впав. Однак, із RMA він зміг перенести до 12 кілограмів — вагу власного тіла.

Також із цим алгоритмом робот досяг 100-відсоткового результату при ходьбі по високій рослинності або переході через кущі, хоча йому доводилося слідкувати за тим, щоб не заплутатися в ногах і агресивно долати зарості. Зі сходами він справився у 70 відсотках випробувань, хоч досі сходинок взагалі не бачив, а при спуску з піщаного насипу та будівельного сміття він знову досяг 100-відсоткового успіху. Інженери розраховують, що їхня навчальна методика стане корисною для роботів, що беруть участь у пошуково-рятувальних операціях, де їм доводить потрапляти у непередбачувані місцевості. Однак, хоч робот і може спускатися вниз і ходити по камінню, він має обмеження внаслідок відсутності зору. Так серйозніші обурення, такі як раптове падіння при спуску сходами або купа каміння все ж вимагають бортового датчика для зору.

Це не перший чотирилапий, якого вчили адаптуватися виключно під час випробувань і вчитися на своїх помилках. Наприклад, команда інженерів з Британії і Китаю, також навчила чотириногого робота бігати риссю та навіть вигадувати нові трюки. Однак для цього вони спершу все ж дали нейромережі кілька «експертних» навичок, якими вона потім послуговувалася. Також більше про роботів, які вчаться ладнати зі своїми кінцівками у незручних умовах можна почитати у нашому невеликому огляді «Попкорнпаньйон Хрустик, «Персі» і його дрон та гігантський телекерований робот».

пропріоцептивні відчуття.
відчуття, що дають інформацію про рух і положення у просторі.