Інженери з університету Глазго розробили алгоритм машинного навчання, якому достатньо відлуння, щоб створити тривимірне зображення навколишнього середовища та навіть послідкувати за рухами людини. Подібно ехолокації у тварин, йому потрібні дані про час, за який звуки з динаміків, наприклад, телефону відскочать від стін та повернуться. Їх система перетворить у тривимірні зображення у вигляді відеопотоку. Детальніше про те, як вчені стежили за людьми у кімнаті за допомогою акустичних і радіосигналів, вони описали у Physical Review Letters.
Отримані зображення за допомогою відлуння акустичних хвиль. Alex Turpin et al. / Physical Review Letters, 2021
Чому б інженерам просто не використовувати світло?
Кажани, дельфіни та й навіть люди здатні використовувати звукові імпульси для вивчення та навігації навколишнім середовищем. Відстань до об’єктів визначається за відлунням вимовленого звуку, а точніше за часом, який знадобився, щоб він повернувся до вуха. Цю ж навичку перейняли інженери, щоб генерувати тривимірні зображення. Системи візуалізації середовища, такі як радари і лідари, працюють аналогічним чином, хоча і з електромагнітним випромінюванням — радіохвилями або світлом. Вони також сканують середовище серією імпульсів, визначаючи перешкоди за часом повернення відбитого ними сигналу. Однак, відлуння має не гіршу за оптичні сигнали структуру, яку також можна використовувати для навігації, так само складаючи та аналізуючи відбиті від поверхонь тепер вже акустичні хвилі.
Потенційно системам, які зможуть відтворювати середовище лише за звуковими сигналами, знадобиться будь-який пристрій, оснащений динаміком і мікрофоном — навіть ваш телефон. Це означає, що вартість такого способу візуалізації буде значно нижчою, а отже і більш доступною. Так забезпечити безпеку будівлі можна буде без традиційних камер, наприклад, вловлюючи сигнали, відбиті від зловмисника. Або ж поширити технологію в медичних установах, щоб, наприклад, відстежувати зміни в диханні пацієнтів за рухом грудної клітини.
Необхідна для роботи системи конструкція: пристрій для реєстрації відлуння (синім), радіо- або звукові імпульси (червоні стрілки) та часопролітна камера для навчання нейромережі. Alex Turpin et al. / Physical Review Letters, 2021
Як використати звук?
Відновити тривимірне зображення з детектора, вихідний сигнал якого вказує лише на кількість енергії отриманої хвилі, що потрапляє на датчик, задача нетривіальна. Так, наприклад, складне розташування предметів та архітектура кімнати можуть створювати серію відлунь, накладання яких унеможливлює відтворення зображення. Тому інженери вирішили використати часопролітну камеру (ToF), що подібна до алгоритмів, які використовуються в радарах, та нейромережу, яку навчили поєднувати два види даних.
Причому камера знадобилася лише для попереднього навчання алгоритму. Вона збирала дані про відстань від екрана до конкретних точок спостереження у кімнаті, а нейромережа вже поєднала це «справжнє» зображення, записане камерою, з луною від детектора. За словами вчених, їм знадобилося до десяти попередніх випробувань, щоб нейромережа навчилася миттєво створювати зображення з відлуння, що відбивалося від людей або об'єктів у кімнаті. Цікаво, що алгоритму було достатньо одного джерела звукових імпульсів.
Що вдалося побачити?
У своїй роботі інженери перевірили роботу алгоритму як з акустичними, так і з радіохвилями у різних діапазонах, щоб відстежити рух людини у кімнаті із однаковою відбивальною здатністю. Спершу вони створили для нейромережі дані про досліджуване приміщення за допомогою ToF-камери. Далі нейромережа поєднувала їх із різними типами сигналів та пов’язувала затримку їхнього повернення із зображеннями з камери. Зрештою алгоритм сам почав генерувати власні високоточні зображення кімнати і її вмісту лише на основі відлуння. Причому для сприйняття інформації від акустичних хвиль нейромережі знадобилося майже у 2 рази менше попередніх даних для навчання.
Моделювання зображення, отриманого за допомогою відлуння, де чорним кольором показане пряме зображення фігури, а всі інші — отримані за допомогою кількох відлунь. Alex Turpin et al. / Physical Review Letters, 2021
Також дослідники з’ясували, що збільшення кількості відлунь, необхідних для відображення кімнати нейромережею, ніяк не впливає на якість зображення — знадобилося всього два-чотири випущених сигнали. Звісно поки система працюватиме лише у кімнатах, які змогла попередньо «побачити», однак вчені працюють над розробкою нейромережі, яка могла б навчитися на сотнях різних кімнат й згодом працювати навіть у невідомих для неї.
Також раніше писали про те, як інженери вирішили поєднати і світло, і звук, та створили гібридну фотоакустичну систему, яка дасть змогу отримувати дані з морського дня, навіть не опускаючись під воду, вловлюючи луну від лазерного випромінювання.