Інженери звернулися до вміння комах уявляти швидкість, з якою рухаються об’єкти у їхньому полі зору, та допомогли дрону м’якше приземлитися. Нова стратегія навчання на основі штучного інтелекту покладається на коливання оптичного потоку, за яким робот зможе визначити, наприклад, товщину кори дерева. Результати роботи вчених опубліковані у журналі Nature Machine Intelligence.
Експериментальний дрон розробників орієнтується на квіти. MAVLab/ TU Delft
Як комахи вміють визначати швидкість?
Основна сенсорна система більшості комах використовує візуальні враження в тій чи іншій формі для сприйняття навколишнього середовища. Така візуальна навігація у летючих комах в першу чергу спирається на оптичний потік — видимий рух яскравості, що сприймається під час відносного руху між спостерігачем, наприклад, оком людини або камерою, та навколишнім середовищем. Так оптичний потік надає інформацію про відношення швидкості до відстані, тож що фактична метрична відстань невідома. Тому, на додаток, комахи орієнтуються й завдяки певним візуальним спостереженням, витягнутим з поля оптичного потоку та які належать руху об’єктів.
Наприклад, бджоли м’яко приземляються завдяки фіксуванню розбіжностей між полем оптичного потоку, що сприймається з землі: якщо дивитися вниз, то розбіжності поля потоку передають вертикальну швидкість, масштабовану по висоті. Тому спостерігач наближається до землі, експоненціально зменшуючи свою швидкість. Складні очі комах використовують механізм, який дає змогу виміряти зміни у середовищі в момент їхнього виявлення. І так, наприклад, дрозофіли з їхніми приблизно десятьма тисячами нейронів, досягають успіху в польоті у невідомих і складних умовах, виконуючи швидкі маневри, уникаючи перешкод та наздоганяючи товаришів. А дзюрчалкові мухи використовують візуальні підказки, щоб стабілізувати свій політ під час вільного падіння, щоб уникнути зіткнення.
Як навчити цього дронів?
Забезпечення повної автономності мікролітальних апаратів (MAV) є досить складним завданням, оскільки вимагає кількох сенсорів та значних обчислювальних потужностей, яких для нормальної роботи дронів забагато. З огляду на дуже невелику кількість нейронів в мозку летючих комах, вчені визнають їх золотим стандартом для польотів мікролітальних апаратів. Зазвичай стратегії навігації для них засновані на концепції оптичного потоку, як у бджіл, однак візуальних датчиків, які використовуються для вимірювання оптичного потоку, значно відрізняються від своїх природних аналогів.
Зазвичай використовуються мініатюрні камери, які працюють за принципом покадрового знімання: кадри отримують шляхом періодичного вимірювання яскравості всіх пікселів. Це відносно неефективний процес для сприйняття руху, оскільки швидкість виведення інформації не залежить від реальної динаміки сцени. Тому потрібна подальша обробка, що знову вимагає обчислювальних ресурсів. Крім того, швидкі зміщення між кадрами розмивають видимий рух і спотворюють оцінку дроном навколишнього середовища. Це все особливо небажано для мініатюрних летючих роботів, які використовуються для швидкого руху та не мають змогу мати додаткові системи для складних алгоритмів.
Що пропонують вчені?
Оптичний потік має деякі фундаментальні обмеження. Він надає змішану інформацію про відстані і швидкості, а не про відстань або швидкість окремо, а тому два дрони на різних висотах і швидкостях відчуватимуть один і той самий оптичний потік. Хоча для ефективного польоту вони повинні по-різному реагувати на розбіжності оптичного потоку. Також для запобігання перешкод дрону замало фіксованого ним потоку, адже він досить малий для сенсорів і сильно зашумлений, що дає дуже мало інформації про перешкоди. Тому перешкоди, до яких рухається дрон, найважче виявити.
Втім, інженери вирішили навчити роботів інтерпретувати не лише оптичний потік, а й зовнішній вигляд об'єктів в їхньому середовищі, що дозволило б бачити відстані до них, так само як люди оцінюють відстань до нерухомого зображення. Рішення полягає у тому ж оптичному потоці. Виявляється, що дрони можуть викликати коливання оптичного потоку, що можна використати, щоб дізнатися, як об'єкти в їх середовищі виглядають на різних відстанях. Таким чином, робот може, наприклад, дізнатися, текстуру трави або наскільки товста кора дерев. Експериментальний дрон інженерів з новою технологією приземлився більш плавно та навіть мав вищі показники, обходячи перешкоди за більшої швидкості польоту.