Новые наушники распознают выражение лица даже под маской

Инженеры создали небольшое устройство, которое встраивается в обычные наушники и отслеживает выражение лица пользователя. Для двух крошечных камер помехой не становится даже медицинская маска. Благодаря удивительному девайсу можно демонстрировать свои эмоции партнёру по интернет-общению и даже управлять бытовыми приборами с помощью мимики.

Сегодня существует множество интернет-сервисов, позволяющих общаться по видеосвязи. Но все они предполагают, что собеседники будут смотреть в камеру, чтобы показать партнёру выражение своего лица. Однако это не всегда удобно.

А если пользователь вообще не хочет, чтобы кто-то видел его настоящее лицо? Допустим, это игрок, у которого есть аватар в виртуальной реальности. Как он при этом может улыбнуться партнёру, подмигнуть незнакомцу или ухмыльнуться сопернику?

Напрашивается решение: система распознавания мимики. Однако вряд ли пользователи захотят наклеивать себе на лицо датчики motion-capture. Существуют решения, которые определяют выражение лица вне зависимости от направления взгляда. Однако подобные технологии пока далеки от совершенства.

"Большинство предыдущих носимых технологических решений, направленных на распознавание мимики, требовали прикрепления датчиков к лицу, – рассказывает Чэн Чжан (Cheng Zhang) из Корнеллского университета. – И даже с таким большим количеством инструментов они могли распознавать только ограниченный набор отдельных выражений лица".

Новая система Contour-Face (C-Face) требует от пользователя только одного: надеть наушники. В этот привычный и необходимый девайс инженеры из группы Чжана вмонтировали две миниатюрные камеры. Благодаря своему положению они снимают лицо пользователя независимо от того, куда он смотрит. Правда, под своеобразным ракурсом: "от уха".

Это, впрочем, никак не мешает их работе. Когда наши мимические мышцы растягиваются или сокращаются, контуры щёк, наблюдаемые камерами, меняют форму. Чжан и его коллеги обнаружили любопытный факт. Эти изменения очертаний несут в себе удивительно много информации о выражении лица.

Мимику пользователя по изображениям с камер распознаёт искусственный интеллект. Нейронная сеть извлекает из контуров щёк информацию о положении 42 ключевых точек, сосредоточенных в наиболее выразительных частях лица: вокруг глаз, бровей и рта.

Благодаря этому система распознаёт восемь выражений лица, таких как "нейтральное", "сердитое" или "удивлённое". Уже сейчас эти шаблоны можно преобразовать в смайлы, воспроизвести на аватаре и даже превратить в команды для управления бытовой техникой (что было бы полезно парализованным людям с сохранной мимикой).

Авторы испытали свою систему на девяти добровольцах. Устройство верно распознало выражение лица в 88% случаев. Инженеры опробовали и систему мимического управления аудиоплеером. Мимика испытателей с помощью C-Face преобразовывалась в команды "воспроизвести", "перейти к следующей композиции", "увеличить громкость" и так далее. Такой экзотический способ управления успешно работал в 85% случаев.

Любопытно, что благодаря необычному положению камер им не помеха даже традиционная в дни пандемии COVID-19 одноразовая маска. Ведь устройство собирает информацию только о контурах щёк, которые не закрыты маской.

Достижение описано в публикации, которая будет представлена на симпозиуме Ассоциации вычислительной техники по программному обеспечению и технологиям пользовательского интерфейса (UIST’20).

К слову, ранее Вести.Ru рассказывали об искусственном интеллекте, читающем по губам и распознающем мимику животных.