Нейросеть видит людей сквозь стены

Радиоволны в сочетании с искусственным интеллектом позволяют видеть скелетообразные модели людей, движущихся за стеной от наблюдателя. Технология, которая должна полюбиться бойцам спецназа, уже нашла неожиданное применение. Ее используют для мониторинга активности людей с синдромом Паркинсона.

Интерес к этой технологии существовал давно, говорит Дина Катаби (Dina Katabi), старший разработчик проекта и профессор электронной инженерии и информатики Массачусетского технологического института. «DARPA (управление перспективных исследовательских проектов Министерства Обороны США) уже проводило подобные исследования, но до сих пор такие системы могли получить только расплывчатый силуэт человека за стеной».

Теперь же точность работы системы возросла: она моделирует скелетообразные фигуры людей и может показывать базовые движения, такие как ходьба. Система фокусируется на ключевых точках тела человека, например, на локтевых, бедренных и голеностопных суставах. Когда человек делает шаг, вне зависимости от того, находится он прямо перед устройством или за стеной от него, модель повторяет этот шаг в реальном времени. Если объект наблюдения садится — модель также садится.

Как это работает

Радиосигнал, используемый системой, схож с сигналом Wi-Fi, но обладает значительно меньшей мощностью. Принцип работы связан со спецификой проникающей способности радиоволн: они игнорируют такие объекты как стены или мебель, но отражаются от человеческого тела, состоящего преимущественно из воды. Отраженный сигнал затем возвращается в приемник.

«Сложнее всего грамотно распорядиться полученными данными», — говорит Катаби. Справиться с этой проблемой разработчикам помог искусственный интеллект, в частности, нейросеть, использующая технологию машинного обучения.

Разработчики ИИ тренируют нейросеть путём «скармливания» ей информации с пояснениями. Таким образом она вырабатывает собственные алгоритмы и совершенствуется в выполнении поставленного задания. Это называется «обучение с учителем». Хотите научить машину с автопилотом различать светофоры? Покажите ей изображения светофоров и уточните, где именно на них он располагается. Нейросети часто используются для разметки изображений, однако им по плечу и куда более серьезные задания, такие как машинный перевод или даже порождение нового текста на основе данной информации.

Однако разработчики столкнулись с проблемой. «Невозможно взять радиосигнал и отметить на нём голову, суставы и так далее», — говорит Катаби. Другими словами, нанести ярлык на изображение куда проще, чем нанести ярлык на информацию о радиоволнах, отраженных от человека.

На ранних этапах обучения команда разработчиков решила объединить излучатель радиоволн с камерой, чтобы нейросеть смогла соотнести данные. Стены в этом случае не использовались, ведь системе необходимо было видеть объект наблюдения. «Мы использовали ярлыки, которые нанесли на видео, параллельно с подачей беспроводного сигнала, чтобы тренировать нейросеть», — говорит Катаби.

К удивлению разработчиков, после обучения система могла обнаруживать как людей, стоящих на открытой местности, так и скрывающихся за стенами. «Она сумела смоделировать человека, стоящего за стеной, хотя во время тренировок не сталкивалась ни с чем подобным».

Более того, с помощью другой нейросети, система научилась отличать людей по походке. Даже сквозь стены точность определения конкретных людей достигла 83%.

Как это будет использоваться?

Исследователи уже начали использовать систему в небольшом исследовании, связанном с людьми, страдающими от болезни Паркинсона. Устанавливая устройства в их дома, ученые могут собирать данные о передвижении пациентов без использования камер, таким образом минимизируя фактор вторжения в личную жизнь. Это исследование длилось 8 недель, в нем участвовало 7 человек.

Результаты исследования в высокой степени совпали с данными из опросников, которые заполняли участвующие в эксперименте люди. Также исследователи смогли получить дополнительную информацию о качестве жизни людей с этим синдромом, их поведении и функциональном состоянии.

Дальнейшую разработку технологии финансирует Фонд Майкла Джей Фокса (Michael J. Fox foundation). Ее использование позволит исключить «синдром белого халата» при наблюдении за пациентами (синдром белого халата — отклонение поведения и/или состояния пациента от нормы во время приёма у врача. – Прим. ред.). Использование системы поднимает вопрос о конфиденциальности, но Катаби уверяет, что технология не будет применяться на людях без их согласия.

Работа нейросети в динамике: