Сенсорная перчатка позволит роботам распознавать вещи на ощупь

Группа инженеров под руководством Субраманиана Сундарама (Subramanian Sundaram) из MIT создала недорогую сенсорную перчатку, позволяющую нейронной сети распознавать вес и форму предмета. Специалисты окрестили разработку Scalable TActile Glove (STAG), что означает "адаптируемая тактильная перчатка".

Инженеры давно хотят научить роботов определять свойства предметов на ощупь, как это делает человек. Всё дело в том, что первые не могут почувствовать, к чему прикасаются, а значит, и отрегулировать силу захвата. Проще говоря, механическая рука будет одинаково хватать теннисный мячик и яйцо, которое требует более бережного отношения.

Специалисты уже работают в этом направлении, и ранее авторы проекта "Вести.Наука" (nauka.vesti.ru) рассказывали о роботах с мягким захватом, которые помогут изучить подводный мир и собрать заказ.

Один из способов научить роботов определять предметы – собрать как можно больше информации о том, как люди идентифицируют предметы на ощупь. Получив её, можно задействовать машинное обучение, которое поможет роботу усвоить все данные. Благодаря этому механическая рука сможет определять тип вещи и её вес.

Собственно, так и решили поступить Сундарам и его коллеги. Необходимые данные они собрали при помощи разработанной ими перчатки, оснащённой примерно 550 крошечными датчиками давления.

Новое изобретение подключается к компьютеру, который собирает информацию и превращает её в так называемую тактильную карту. В местах взаимодействия перчатки с предметом на ней то появляются, то исчезают точки. Их размер меняется в зависимости от силы давления.

После этого информация поступает в свёрточную нейронную сеть, которая также была разработана учёными.

Она классифицирует изображения точек и сопоставляет "шаблоны давления" с конкретными объектами.

Специалисты также собрали 135 тысяч видеокадров взаимодействия человека в перчатке с 26 предметами: банкой с газировкой, ножницами, теннисными мячами, ложками, ручками и кружками.

Для этого человек надевал перчатку, держал, поднимал, крутил и ронял эти объекты. Датчики фиксировали давление в каждой точке.

Используя набор данных, система определяла тип предмета с точностью до 76 процентов и выстраивала тактику обращения с ним. Она также могла спрогнозировать вес объекта манипуляций в пределах примерно 60 граммов. Для этого была составлена отдельная база данных.

По мнению учёных, для лучшего взаимодействия с объектами тактильный анализ может использоваться вместе с традиционным компьютерным зрением и наборами данных на основе изображений.

"Благодаря тактильной обратной связи, мы можем определять, какой предмет берём, и тактику взаимодействия с ним. Прикасаясь к вещам, мы ощупываем их и понимаем, что это такое. А у роботов этой важной обратной связи нет, – говорит Сундарам. – Мы всегда хотели, чтобы они научились делать то, что умеют люди, например, мыть посуду или выполнять другую работу по дому. Но, чтобы роботы умели это, они должны научиться хорошо обращаться с ними".

Впрочем, подобные разработки уже появляются, например, ранее учёные снабдили руку робота кожей с регулируемой чувствительностью.

В целом такие устройства помогут создать более ловкие манипуляторы и более совершенные протезы, считают учёные.

К слову, специалисты также отмечают стоимость новой перчатки. Похожие сенсорные перчатки стоят примерно $1000 (почти 65 тысяч рублей по курсу на 31 мая 2019 года), при этом они имеют всего 50 датчиков. Разработка MIT использует уже готовые материалы, стоит около десяти долларов США и оснащена примерно 550 сенсорами.

В будущем команда намерена протестировать перчатку на большем количестве людей, чтобы научиться учитывать размеры рук и, как это ни удивительно, культурные различия добровольцев.

"Ведь люди в одной стране могут держать чашку кофе не так, как в другой", – объясняет Сундарам.

Научная статья по итогам исследования опубликована в издании Nature.

Добавим, что авторы проекта "Вести.Наука" рассказывали о создании материала, способного чувствовать прикосновения.