Розробники з MIT розробили нове навчальне середовище для роботів, яке навчить їх управлятися із м'якими предметами. Так маніпулятор зможе справитися із тістом (або пластиліном), намотати мотузку на стовп та повправлятися з паличками. Навчальне середовище назвали PlasticineLab, воно спирається на навчання з підкріпленням та доступне для публічного використання. Роботу вчені представили на конференції Conference on Learning Representations, а стаття доступна на сервісі препринтів arXiv.
MIT-IBM Watson AI Lab
Навіщо роботам ще і пластилін?
Перш ніж допустити робота у реальний світ або навіть у лабораторію, його варто навчити виконувати якісь завдання. Для цього інженери використовують змодельовані віртуальні середовища. Наприклад, OpenAI Gym або Arcade Learning Environment (ALE), що надає інтерфейс до сотень ігрових середовищ Atari 2600. Саме він допоміг новому алгоритму DeepMind навчитися грати в ігри без знання правил і там же алгоритм Go-Explore побив людський рекорд у «Помсті Монтесуми». Детальніше про ігрові навчальні середовища можна почитати у нашому матеріалі «Ігри, у які грають роботи».
Це все потрібно, щоб штучний інтелект міг керувати безпілотними автомобілями або допомогти майбутньому домашньому роботу зробити вам каву. Втім, досі це все стосувалося твердих тіл і роботів не вчили справлятися із предметами, які можуть деформуватися. Хоча це значно розширить спектр завдань, які можна буде поручити робототехніці - від дослідження різноманітних матеріалів та виробництва до віртуальної хірургії. Однак, порівняно із фізикою твердого тіла, динаміка м'якого тіла набагато складніша. Одна з найбільших проблем пов'язана з його нескінченними ступенями свободи, для опису яких знадобиться величезна кількість рівнянь.
Як цьому пропонують вчити роботів?
PlasticineLab - це набір складних завдань з маніпулювання м'яким тілом, що виконуються віртуальним агентом. Базовий симулятор в PlasticineLab дозволяє користувачам виконувати складні операції з м'якими тілами, у тому числі стискання, розтягування, формування та вирізання пластичного матеріалу. У PlasticineLab є десять різних завдань, кожне з яких має декілька предметів, з якими можна повзаємодіяти, та полягає у тому, що маніпулятор має деформувати м'яке тіло до необхідної форми, плануючи свої рухи. Агент спирається на свій стан, мету і винагороду, що разом утворюють форми за допомогою запланованого руху маніпулятора.
Чого навчиться робот?
Кожне завдання має по п'ять варіантів розв'язання, які генеруються залежно від початкової та необхідної форми, а також від початкового положення маніпулятора. Таким чином, у робота є 50 можливих конфігурацій. Одним із завдань є обмотати навколо стовпа мотузку, змодельовану як довгий пластиліновий шматок. Потім агент може навчитися виліплювати малюнок, який попередньо намалюють розробники випадковими лініями.
У навчальному середовищі робот також може використовувати палички для їжі, маючи у розпорядженні сім ступенів свободи: шість для переміщення і обертання пари паличок у тарілці та ще одна для управління відстанню між ними. Також робот може навчитися ліпити «тісто для піци» за допомогою качалки, якою агент розплющує пластилін. За словами інженерів, PlasticineLab - це перше середовище, де роботи зможуть навчитися працювати із гнучкими матеріалами, які легко деформуються. Воно доступне для використання, тому вчені вважають, що PlasticineLab зробить неабиякий внесок у машинне навчання.