Нейромережа і стереокамера допомогли дрону політати лісом

Швейцарські інженери змогли залишити дрон цілим після того, як він пролетів між деревами на швидкості 40 кілометрів на годину. Ключовий принцип полягає у тому, щоб безпосередньо відображати зашумлені сенсорні спостереження з камери заздалегідь навченій нейромережі, яка замінила собою етапи зондування і картування місцевості. Це знизило час обробки інформації, а отже дало дрону змогу не втрачати час, повідомляють вчені у Science Robotics.

Новий контролер допоміг обігнати комерційний дрон та лишитися цілим. UZH Robotics and Perception Group / YouTube

Новий контролер допоміг обігнати комерційний дрон та лишитися цілим. UZH Robotics and Perception Group / YouTube

Як дрони літають лісом?

Роботи вже цілком успішно справляються з польотами та поступово переймають на себе більшість завдань, що не під силу «прямоходячим» та багатоногим роботам, яким деякі перешкоди можливо хіба що перестрибувати. Тому дрони захопили робототехніку і стають головними у сфері спостереження та пошукових операцій завдяки своїй швидкості і маневреності. Завдяки цьому вони можуть долати складні середовища, від захаращених лісів до міських кам'яних джунглів, і досягати місць, які недоступні людям. Однак, поки тільки досвідчені оператори здатні реалізувати весь потенціал коптерів. Обмежуючим фактором для автономного гнучкого польоту у довільному невідомому середовищі є поєднання швидкого і надійного сприйняття з ефективним плануванням. Система сприйняття повинна бути стійкою до перешкод, таким як шум датчика, розмитість зображення при русі і зміна умов освітлення.

Причому навіть з найрізноманітнішими бортовими датчиками автономна робота дрона обмежує йому швидкість. Це пов'язано з тим, що йому належить вирішити додатково кілька навігаційних завдань: зондування та картографування місцевості, а потім планування маршруту. Завдання виконуються послідовно, що призводить до збільшення затримки обробки і накопичення помилок в контролері. У своїй роботі дослідники Цюрихського університету спробували знайти підхід до управління квадрокоптера на високих швидкостях у складній місцевості, надаючи йому доступ тільки до бортових вимірювань і розрахунків зі стереокамери.

UZH Robotics and Perception Group / YouTube

UZH Robotics and Perception Group / YouTube

Як дрон плануватиме маршрут?

У всіх експериментах дрону була надана еталонна траєкторія для кодування передбачуваного маршруту. Він прямо порівнював з нею вхідні сигнали від стереокамери Intel RealSense, де заздалегідь навчена на середовищах з перешкодами згорткова нейромережа починає будувати маршрути. Всього дрон подолав 56 експериментів з різною швидкістю у лісах різного типу і щільності, на крутих засніжених гірських схилах, а також закритому приміщенні і зруйнованій будівлі. Дрон літав по прямій з різною середньою швидкістю в діапазоні від трьох до десяти метрів на секунду. Політ на цих швидкостях вимагає дуже точного керування положенням і орієнтацією з малою затримкою, щоб уникати кущів і проходити через отвори між деревами і гілками, враховуючи, що густа рослинність і сніжний ландшафт без текстури несуть з собою шум у даних. Дві невдачі сталися, коли об'єкти потрапили в поле зору дуже пізно через високу кутову швидкість коптера.

Новий підхід також порівняли з можливостями комерційного дрона. Разом вони повинні були покинути ангар, пройшовши через вузьку щілину шириною близько 0,8 метра. Цей експеримент складний, оскільки вимагає високого рівня розуміння навколишнього середовища, щоб вчасно повернути до виходу. Комерційний безпілотник, що летів зі швидкістю близько 2,7 метра на секунду, в усіх трьох експериментах постійно не міг пройти через проміжок і навіть врізався у стіну. У той час як дрон з новим контролером на швидкостях польоту 3 і 5 метрів в секунду ні разу не зіткнувся з перешкодами і успішно вилетів з ангара.

Дослідники зазначають, що поки дрон не може позмагатися із ефективністю керованих людьми, адже поки все ще має проблеми з умовами дуже низької освітленості (бо камери просто не бачать), а також з аналогічними проблемами машинного зору, такими як пил, туман, відблиски, прозорість або відблиски від поверхонь. У навчання нейромережі також не входили динамічні перешкоди, хоча вчені вважають, що переміщення предметів не має бути проблемою, якщо їхня швидкість щодо дрона незначна.

Дрони прагнуть до автономності, а тому часто беруть участь у найрізноманітніших експериментах від розробників. Так їх вчать визначати відстань за зовнішністю об’єкта, щоб наблизити їхні навігаційні здібності до бджіл, а також пропонують наслідувати сов та ловити пацюків, рухаючи свою стереокамеру.


Фото в анонсі: Antonio Loquercio et al. / Science Robotics, 2021