Ученые уже долгие годы пытаются научить роботов взаимодействовать с различными предметами. Но, к сожалению, роботы обычно ломают или роняют их. Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского университета нашли новый подход — тактильные перчатки. В статье, опубликованной в Nature, ученые рассказывают, как эта перчатка помогает искусственному интеллекту опознавать предметы. Это изобретение поможет создать роботов, которые будут лучше взаимодействовать с предметами. Также технологию перчатки можно использовать для разработки протезов.
Субраманьян Сундарам, ведущий автор статьи, говорит: «Люди умеют хорошо идентифицировать и обрабатывать объекты, потому что у нас есть тактильная обратная связь. Прикасаясь к предметам, мы ощупываем их и понимаем, что перед нами. У роботов нет такой полной обратной связи. Мы всегда хотели, чтобы роботы делали то, что умеют делать люди, например, мыли посуду или занимались другими привычными для нас делами. Если вы хотите, чтобы роботы делали эти вещи, их нужно научить очень хорошо взаимодействовать с объектами реального мира».
Обучаемся на пальцах
«Масштабируемая тактильная перчатка» (scalable tactile glove, или «STAG»), которую ученые научно-исследовательской лаборатории MIT используют для сбора данных, содержит 550 крошечных датчиков давления. Они отслеживают и фиксируют, как руки взаимодействуют — касаются, двигают, поднимают, опускают, бросают и осязают — с объектами. Полученные данные подаются в сверточную нейронную сеть для обучения. До настоящего времени, команда научила систему распознавать 26 повседневных объектов — например, банку содовой, ножницы, теннисный мяч, ложку, ручку и кружку, — с впечатляющей точностью в 76 процентов. Также, система STAG может точно предсказать вес объекта с погрешностью лишь в 60 грамм.
Существуют и другие тактильные перчатки, но они, как правило, очень дорогие — стоимостью в тысячи долларов. В MIT же смогли сделать перчатки из доступных материалов всего за 10 долларов. Кроме того, другие перчатки обычно имеют всего 50 датчиков, а потому менее чувствительны и информативны.
Как это работает
«STAG» ламинирована электропроводящим полимером, который воспринимает изменения сопротивления при давлении на объект. В перчатку вплетены проводящие нити, которые перекрывают друг друга и тем самым создают сравнительные дельты, пары которых позволяют служить датчиками давления. Когда пользователь касается объекта, перчатка выбирает каждую точку контакта как точку давления.
Внешняя схема создает «тактильные карты» точек давления — короткие видеоролики, в которых каждая точка контакта увеличивается или уменьшается в зависимости от приложенного давления. 26 объектов, вычисленных до настоящего времени, были сопоставлены примерно с 135 000 видеокадрами, которые показывают точки, растущие и сжимающиеся в разных местах на руке. Этот необработанный набор данных необходимо разбить на несколько датасетов для оптимального распознавания нейронной сетью. Так, для прогнозирования веса был разработан отдельный набор данных, содержащий около 11 600 кадров.
Кроме информации о давлении ученые также собирают информацию о поведении суставов при взаимодействии с объектами. Например, когда кто-то касается среднего сустава указательного пальца, он редко использует большой палец, а использование указательного и среднего пальцев, напротив, всегда означает, что большой палец будет задействован. «Мы впервые количественно объясняем, — говорит Сундарам, — что, если я использую одну часть своей руки, то вероятно должен использовать и другую».
Сверточная нейронная сеть, обученная на тактильных картах, обычно используется для классификации изображений. Она способна связывать шаблоны с конкретными предметами, если у нее есть достаточно данных о способах обработки объекта.
Если идеи команды MIT смогут применить в разработке датчиков суставов роботов, то они будут способны прикасаться и чувствовать так же, как и мы. А высокотехнологичные и точные протезы станут более доступны.
Источники
- New MIT-developed glove teaches A.I.-based robots to ‘identify’ everyday objects
- Learning the signatures of the human grasp using a scalable tactile glove
