Как работает система распознавания лиц

SmartFace

Graph

Расскажем, как работает технология распознавания лиц, по каким методикам измеряется точность алгоритмов, и как биометрия помогает решать важные задачи в разных сферах — на примере банков, ретейла и правоохранительных органов.

Что такое распознавание лиц

Когда вы разблокируете телефон без пароля с помощью камеры, вы используете эту технологию. Применяется метод биометрического сравнения, который с помощью моделей машинного обучения позволяет сопоставить лицо с базой и найти совпадения.

Распознавание лиц может происходить как на видеопотоке, когда человека фиксирует камера (например – умный домофон), так и по статичному изображению (пример — когда соцсети предлагают вам отметить себя на чужих фотографиях).

Как работает биометрическая система

Система определяет, кому именно принадлежит лицо на видео или фотографии, за несколько шагов.

Получение биометрического образца

Первый этап — face detection, определение положение лица на изображении. Видео разбивается на кадры, которые поступают на вход моделям машинного обучения (чаще всего искусственные нейронные сети), результатом работы которых являются координаты найденных лиц, углы поворота головы, координаты ключевых точек на лице и другая информация, необходимая для подготовки биометрического образца к последующим операциям. Идеальная ситуация — когда человек смотрит прямо в камеру, но современные биометрические алгоритмы справляются и с другими ракурсами.

Контроль качества

После фиксации определяется, насколько образец качественный, — видны ли все части лица, нет ли затемнений, засветов или смазанных участков, достаточный ли размер лица. Задача — получить подходящий для дальнейшего анализа биометрический образец.

Немаловажным этапом является подготовка изображения к извлечению биометрического вектора. Биометрический образец обрезается, масштабируется, в некоторых случаях на основании ранее извлечённой информации происходит «восстановление» угла наклона головы и корректировка цветовой схемы.

Вектор лица

Сравнение изображений лиц напрямую не даст необходимой точности для корректного поиска совпадений, поэтому применяется одностороннее преобразование биометрического образца в вектор. Математически, биометрический вектор – это представление лица в таком пространстве, где для разных изображений лица одного человека векторы имеют малое расстояние, а для разных людей – большое. Чаще всего вектор это – набор чисел заданной длины, который неявным образом характеризует визуальную идентичность владельца биометрического образца.

Такое преобразование сложно выполнить без искусственных нейронных сетей компьютерного зрения. При обучении им ставится задача не только отличать изображения людей друг от друга, но и абстрагироваться от переменных условий, в которых эти образцы могут быть получены: освещение, фон, повороты головы и направления взгляда, наличие или отсутствие таких атрибутов на лице как борода, усы, очки, медицинская маска и т. п.

Поиск по базе

При помощи функции сравнения векторов биометрическая система может сравнить полученный в ходе выполнения операции биометрический шаблон с теми, которые уже сохранены в базе данных.

Разделяют два вида операций:

• Сопоставление 1 к 1 или верификация — Когда клиент предоставляет кроме биометрического образца ещё и свой идентификатор, или если в системе сохранён только один биометрический шаблон. Пример — разблокировка телефона через FaceID (телефон сравнивает изображение с тем и только тем, которое хранится у него как эталон).
• Сопоставление 1 к N или поиск по базе данных — Когда биометрическая система получает только изображение лица, и необходимо найти соответствие среди всех сохранённых в базе данных шаблонов. Пример — прохождение сотрудника через турникет, оснащённый камерой.

Оценка витальности

Самый банальный способ, который может прийти в голову, чтобы обмануть систему распознавания лиц, — показать в камеру чужую фотографию. Однако современные технологии определяют подмены через оценку витальности (liveness detection).

Разделяют активные методы определения витальности, когда от пользователя требуется совершить какие-то действия, например моргнуть или повернуть голову, и пассивные, когда изображение лица анализируется на наличие признаков подделки при помощи моделей машинного обучения.

Существует также мультимодальные методы оценки витальности, когда для анализа кроме изображения могут использоваться сигналы с инфракрасных камер, датчиков глубины, микрофонов (запись голоса).

Такие методы дополнительной оценки изображений — обязательная часть современных решений, которые помогают защититься от мошенничества.

Точность распознавания

Обязательным этапом при внедрении новой модели распознавания лиц является замер точности на тестовых выборках данных. В разных сценариях работы системы могут существовать сильно отличающиеся друг от друга по природе возникновения данные. Изображения, снятые на фронтальную камеру телефона, когда пользователь видит своё лицо на экране, значительно отличаются от образцов, полученных с камер видеонаблюдения. Для этого исследователи группируют тестовые данные в несколько наборов и контролируют точность на каждом из них для понимания границ применимости алгоритмов и внесения корректировок при обучении моделей.

Само тестирование проходит по строгим методикам согласно ГОСТ и ISO, в которых подробно описаны особенности составления тестовых выборок и математические формулы, согласно которым рассчитываются метрики качества биометрической системы.

Можно сказать, что на текущем уровне технологического развития модели распознавания лиц справляются со своими задачами лучше чем человек.

Где можно применить лицевую биометрию

• Системы безопасности на уровне стран — например, в Китае работает одна из самых больших сетей камер, которые установлены на улицах, всего в ней более 600 млн единиц техники. С их помощью находят потерянных людей, ловят преступников.
• Контроль доступа. Техника может распознать лица сотрудников, чтобы подтвердить, что по пропуску проходит его владелец. Частный случай — системы фиксации рабочего времени, которые отслеживают перемещения конкретного сотрудника.
• Транспорт. Видеонаблюдение в транспорте помогает посчитать пассажиропоток (уникальных людей) и обеспечить безопасность. В частности, аэропорты многих стран используют face recognition в дополнение к стандартным службам охраны — из-за огромного потока и риска, связанного с терроризмом.
• Торговые центры. Здесь так же, как и в транспорте, можно собрать информацию о количестве посетителей и половозрастном составе аудитории, чтобы использовать эти данные в маркетинговой стратегии. Бизнес получает возможность лучше узнать своих клиентов и отправлять им персональные предложения или промокоды, когда они находятся в торговом зале.
• Авторизация и поиск по базе. В Сбербанке с помощью технологии SmartFace клиенты могут подтвердить личность в банке или совершить платёж в мобильном приложении через биометрию. Так операции совершаются быстрее.
• Социальные сети. Когда соцсети просят подтвердить, есть ли вы или ваш знакомый на фотографии, это тоже работают нейронные сети. Такая функциональность есть, например, в соцсети ВКонтакте.

Несколько нестандартных кейсов использования технологии:

• British Airways не просит посадочный талон или паспорт у пассажиров, которые вылетают по определённым направлениям, а использует вместо этого цифровые технологии.
• McDonald’s в Китае проводил эксперимент по отслеживанию качества обслуживания клиентов — в частности, система следила за тем, как часто персонал улыбается посетителям.
• Компания MAC, продающая косметику, распознаёт лица в своих магазинах, чтобы посетительницы «примерили» макияж с помощью дополненной реальности.

Есть много других бизнес-кейсов, когда нейросети и распознавание лиц используются для ускорения обслуживания клиентов. Замена человека алгоритмом во многих случаях оправдана и экономит время. Еще один интересный продукт для оптимизации бизнес процессов — Graph от Сбера, который позволяет в режиме конструктора собрать виртуального ассистента.

Преимущества систем распознавания лиц

Почему глобальное развитие технологии распознавания лиц — это хорошо? Приведём несколько аргументов.

• Безопасность. Чем больше развита сеть видеонаблюдения, тем меньше вероятность, что преступление останется безнаказанным или вообще произойдёт. Когда каждый знает, что все его перемещения легко отслеживаются, это дополнительный барьер для преступности.
• Удобство. Когда не нужен паспорт или банковская карта, чтобы у сотрудника появилась информация о посетителе, это сокращает время обслуживания. Например, в московском метро с 2021 года работает проход по биометрии с помощью FacePay — не нужен даже проездной, чтобы пройти через турникет.
• Быстрота и минимальная ошибка. Система распознавания может установить личность всего за доли секунды, что намного быстрее, чем передача документа из рук в руки людям, которые работают на охранных пунктах, и его проверка. Кроме этого, отсутствие человеческого фактора делает работу системы более предсказуемой и качественной.

Системы распознавания лиц становятся популярнее и распространённее с каждым годом. Они позволяют сократить время, которое пользователь тратит на авторизацию, и улучшить клиентский опыт. Совершенствование алгоритмов оценки витальности позволяют биометрическим операциям стать серьёзными конкурентами для стандартных методов защиты — например паролей, которые можно украсть.

Продукты из этой статьи:

SmartFace

Graph