#22: Встраиваемые системы распознавания лиц, мимики и жестов от компании Omron

Анна Сергеева. Встраиваемые системы распознавания лиц, мимики и жестов от компании Omron // Компоненты и технологии. 2015. № 10. С. 40-42.

Обзор возможностей программного пакета OKAO Vision, работающего на аппаратной платформе встраиваемого модуля Human Vision Components (HVC), в сфере визуального распознавания лиц, мимики и жестов.

Опубликовано в разделе "Технологии"

Эта же статья на сайте журнала

Системы визуального распознавания помогают компаниям узнать своих покупателей «в лицо»

В крупных компаниях, поставляющих свои товары и услуги, руководство достаточно много внимания уделяет вопросам, насколько востребована их продукция на рынке. Целые отделы маркетологов упорно и тщательно исследуют потребительский спрос и стремятся скорректировать требования к собственной продукции так, чтобы повысить ее привлекательность и обеспечить рост продаж.

Да, конечно, существуют такие способы получения подобной информации как проведение социальных опросов и анкетирование посетителей торговых залов. Однако, для этого компании нужно еще нанять специальных сотрудников, оплатить их работу и ждать, пока они соберут и отсортируют результаты опросов населения. При этом затраты времени и денег будут повторяться из раза в раз, при каждом таком исследовании.

К тому же, следует учитывать человеческий фактор. Ведь некоторые люди склонны избегать участия в анкетировании (ввиду незаинтересованности или занятости) или же могут предоставлять недостоверную информацию (например, стесняются быть откровенными с представителями компании-производителя и оставлять негативные отзывы о продукции, если они есть).

Один из альтернативных способов понять, как покупатели действительно реагируют на определенные товары и услуги — отследить и проанализировать их эмоциональное состояние в момент приобретения. Как ведут себя покупатели: с радостью кладут предлагаемый товар в свою корзину или же хмуро удаляются в сторону прилавков конкурентов.

Существует возможность автоматизировать большую часть такой работы, прибегая к внедрению специальных электронных систем. Они способны достаточно быстро и относительно недорого предоставлять достоверные результаты по части распознавания лиц покупателей, их пола и возраста, а также оценивать их предполагаемое эмоциональное состояние.

Таким образом, системы распознавания могут, например, собирать полезную и так интересующую маркетологов статистику, каким возрастным группам больше нравится тот или иной товар или же как зависит спрос на продукцию от пола покупателей.

С другой стороны, такие системы могут существенно улучшить качество и комфортность взаимодействия между человеком и машиной: в зависимости от конкретной личности пользователя или от принадлежности его к определенной группе лиц, компьютер будет предоставлять наиболее подходящие товары услуги.

Другие возможности применения систем распознавания

Разумеется, подобные системы распознавания представляют интерес в практическом внедрении во многих, самых разнообразных областях.

Например, это могут быть системы энергосбережения в умных домах, с поддержкой детектирования присутствия и возможностью настройки освещения, отопления и кондиционирования помещений в зависимости от числа домочадцев.

При обеспечении автоматизации зданий можно доверить системам распознавания такие ответственные задачи как контроль доступа на объектах. Разграничивать и разрешать или запрещать присутствие тем или иным персонам в определенных зонах объекта. Можно выполнять обнаружение нежелательных персон для пресечения их нежелательного нахождения на объекте. Или, напротив, быстро выполнить поиск необходимого сотрудника в экстренных ситуациях, требующих оперативного взаимодействия с ним.

В приложениях для мобильных устройств, системы распознавания применяются для защиты данных от несанкционированного доступа, а также при совершении различных финансовых транзакций.

Наконец, это могут быть такие варианты применения как автофокус при фото и видео съемке, а также всевозможные роботизированные игрушки, которые включаются при обнаружении детей и исполняют сценарий игры в зависимости от настроения владельцев.

Продукция Omron для визуального распознавания

В настоящее время целый ряд различных производителей занимается разработками, связанными с системами визуального распознавания. Среди них, пожалуй, отдельного внимания заслуживает японская компания Omron, ведущий мировой производитель электронных компонентов и систем, которая активно работает в данном направлении.

Инженеры Omron смогли преодолеть одну из основных сложностей в реализации систем визуального распознавания: до сих пор обработка данных была неразрывно связана с высокой вычислительной мощностью и большими затратами памяти. Однако в Omron удалось разработать собственные алгоритмы, которые позволяют существенно уменьшить размер обрабатываемых файлов, обеспечивают высокую скорость обработки, сохраняя при этом приемлемую точность.

В секторе визуального распознавания Omron выпускает два продукта. Это программный пакет OKAO Vision, а также аппаратный модуль Human Vision Components (HVC) с предустановленным программным обеспечением.

Аппаратные характеристики модуля HVC

В качестве оборудования системы распознавания поставляется модуль B5T-001001(G) HVC, включающий встроенную камеру с разрешением 640 х 480 пикселей и блок захвата изображений и обработки антропометрических метрик по обнаруженным объектам (рис. 1).

Рис. 1. Внешний вид модуля Human Vision Components (HVC)

По сути, это компактный законченный модуль с предустановленным программным обеспечением ОКАО Vision.

Программное обеспечение OKAO устанавливается на пользовательской плате, от нее же на модуль поступает напряжение питания (+5 В). Обмен данными между модулем HVC и пользовательской платой осуществляется через последовательный асинхронный интерфейс UART (рис. 2). Скорость обмена устанавливается пользователем программно (максимальная поддерживаемая скорость составляет 921 600 бит/с).

Рис. 2. Структура системы распознавания на базе модуля HVC

Наряду с высоким быстродействием и достаточной компактностью, модуль HVC имеет следующие основные преимущества:

• Полностью законченное устройство с предустановленным программным обеспечением, оптимизированное для встроенного ПО;

• Работает независимо от мощности CPU оконечного устройства;

• Простота в сопряжении, широкие возможности для интегрирования в различные виды оборудования;

• Малые габариты устройства: 60Х40Х15 мм;

• Техническая поддержка и протоколы сопряжения поставляются бесплатно.

Основные технические характеристики приведены в табл.1.

Таблица 1. Основные технические характеристики модуля HVC

Параметр оборудования	Значение
Напряжение питания	5 В ±10%
Потребляемая мощность	Менее 0.25 A
Рабочая температура	От 0 до +50°C
Рабочая относительная влажность	Ниже 90%
Температура хранения	От -30 до +70°C
Относительная влажность хранения	Ниже 90%

Спецификация входных параметров приведена в табл. 2, а выходных параметров — в табл. 3.

Таблица 2. Спецификация входных параметров модуля HVC

Параметр оборудования	Значение
Разрешение камеры	640 × 480 пикселей
Горизонтальный угол обзора	49 +/- 3 градуса
Вертикальный угол обзора	37 +/- 3 градуса
Диапазон углов оптических осей	+/- 7 градусов
Диапазон подстройки углов	+/- 3 градуса

Таблица 3. Спецификация выходных параметров модуля HVC

Параметр оборудования	Значение
Выходное изображение	Без изображения / 160 х 120 пикселей / 320 х 240 пискелей (по выбору)
Формат изображения	RAW (8-бит, Y-данные)

Программное сопровождение ОКАО Vision

С точки зрения программного сопровождения, производитель предлагает пакет ОКАО Vision. Он предназначен для установки и совместного использования с аппаратным модулем HVC.

Системные требования минимальны: для ПЗУ — 450 Кбайт, для ОЗУ — 370 Кбайт. ОКАО обрабатывает набор антропометрических метрик и сохраняет их в виде файла данных относительно небольшого размера, не выше 1,5 Кбайт. На MSM 6300 полный цикл обработки таких данных занимает около 1 секунды.

С точки зрения применения в портативных и встраиваемых системах, OKAO Vision достаточно универсален, поскольку полностью совместим с наиболее распространенными операционными системами для мобильных телефонов (Symbian, ITRON, BREW и Linux).

Пакет ОКАО Vision поддерживает расширенный набор возможностей по обработке поступающих визуальных данных, которые, благодаря удобной и гибкой настройке, дают данной системе распознавания широкий диапазон сфер применения.

Вот только краткий перечень основных возможностей данного пакета:

Детектирование лица и присутствия человека:

• Детектирование лица (по сравнению с большинством аналогов, имеющих значительные ограничения на положение лица относительно распознающей видеокамеры, данная система обеспечивает обнаружение в 360 ° плоскости вращения с учетом перемещения).

• При невозможности детектирования лица и идентификации личности, детектируется факт присутствия человека.

Детектирование частей лица:

• Направление взгляда и отслеживание моргания, оценка степени закрытия глаз.

• Детектирование контуров и частей лица для оценки эмоционального состояния, редактирования фото и видео.

• Достоверно независимо от направления лица и настроения.

Узнавание людей, оценка пола, возраста, эмоционального состояния

• Достоверно, независимо от расовой и этнической принадлежности персоны.

• Узнавание конкретной персоны.

• Оценка пола и возраста с возможностью подстройки под возрастную категорию.

• Оценка «степени улыбки».

• Оценка эмоционального настроя, количественное выражение степени негативности или позитивности.

Дополнительные возможности:

• Распознавание движений и жестов.

• Распознавание категории изображения (ландшафт, цветы, пища, снег, восход, сумерки, ночь и т. п.).

• Детектирование домашних животных.

В табл. 4 приводится перечень характеристик пакета ОКАО Vision при работе в различных режимах распознавания объектов.

Табл. 4. Характеристики обработки ОКАО Vision в различных режимах распознавания

Режим распознавания	Выходные данные	Описание
Обнаружение присутствия человека, Обнаружение жестов рук	Количество обнаруженных объектов	Максимально, 35 объектов каждого типа
	Положение (координаты центра)	Координаты на экране, начиная с левого верхнего угла, в пикселях
	Размер	Размер входного изображения в пикселях
	Степень уверенности	Уверенность в результате обнаружения (от 0 до 1000). Наибольшее значение соответствует наибольшей уверенности
Оценка направления лица	Угол рыскания	Положительный вправо, в градусах
	Угол тангажа	Положительный вверх, в градусах
	Угол крена	Положительный по часовой стрелке, в градусах
	Степень уверенности	Уверенность в результате обнаружения (от 0 до 1000)
Оценка возраста	Возраст	От 0 до 75 лет (всем более взрослым персонам присваивается значение 75)
	Степень уверенности	Уверенность в результате обнаружения (от 0 до 1000)
Оценка пола	Пол	Мужской или женский
	Степень уверенности	Уверенность в результате обнаружения (от 0 до 1000)
Оценка моргания	Степень открытости глаз	Среднее для двух глаз, от 1 (глаза открыты) до 1000 (закрыты полностью)
Оценка настроения	Установленный тип настроения	Вектор вариантов: “нейтральный”, “счастье”, “удивление”, “гнев” и “печаль”. Выходным считается вариант с наибольшим баллом (ниже)
	Балл	Указывает, насколько лицо соответствует каждому из вариантов настроений. От 0 до 100. Более высокий балл указывает на более высокую вероятность соответствия конкретному настроению.
	Степень проявления	От -100 до +100. Отрицательные значения используются для эмоций “удивление”, “гнев” и “печаль”. Положительные — для эмоции “счастье”.
Распознавание лиц	Результат индивидуальной идентификации	Отображает идентификатор персоны, зарегистрированной в системе. Максимальное число различных персон в полной версии 500.
	Балл	Степень соответствия, от 0 до 1000. Более высокий балл указывает на более вероятное соответствие данной персоне.
Оценка взгляда	Угол рыскания	Положительный вправо, в градусах
	Угол тангажа	Положительный вверх, в градусах

В табл. 5 указаны ориентировочные предельные расстояния до объектов, для успеха их распознавания в различных режимах. Следует учитывать, что в случае превышения указанных максимальных расстояний, качество обнаружения и оценки объектов будет постепенно падать.

Табл. 5. Предельные расстояния до распознаваемых объектов

Режим распознавания	Предельное расстояние
Обнаружение присутствия человека	2,8 метра
Обнаружение жестов рук	1,5 метра
Обнаружение лиц Оценка направления лица Оценка возраста Оценка пола Оценка моргания Оценка настроения Распознавание лиц Оценка взгляда	1,3 метра

Как можно видеть, разработчики ОКАО Vision предлагают большой набор интересных возможностей визуального распознавания, по ним собирается достаточно детальная и полная информация, а значит, в практическом применении система может быть довольно полезной в разных сферах применения, где востребован сбор и анализ визуальных данных об обнаружении людей, распознавании их лиц, жестов, мимики, и т.п.

Заключение

В статье выполнен обзор возможностей программного пакета визуального распознавания OKAO Vision от компании Omron.

В основе используемой технологии — собственные разработанные Omron алгоритмы распознавания изображений, которые позволяют обеспечить высокую скорость обработки при сохранении приемлемой точности.

Это обеспечивает перспективу широкого распространения OKAO в системах визуального распознавания для цифровых камер, мобильных телефонов и роботизированных средств видеонаблюдения.

При этом использование OKAO на аппаратной платформе рассмотренного встраиваемого модуля HVC специально оптимизировано с точки зрения обработки цифровых и оптических данных и наиболее подходит в самых различных сферах, будь то маркетологические исследования, мобильные приложения, системы видеонаблюдения, автоматизации производства и энергосбережения зданий или какие-либо другие варианты применения возможностей визуального распознавания.

Литература

[1] Gabriel Sikorjak. HVC-P: Human Vision Component. Sales presentation. Electronic& Mechanical Components Company. 2014.

[2] Модуль B5T-001001(G) Human Vision Components Datasheet Omron.

[3] Официальный сайт производителя - http://www.omron.com/ecb/products/mobile/