MagicLook SDKMagicLook SDKСоздание приложений для iOS/Android с примеркой аксессуаров, масок и костюмов
BETA

MagicLook SDK

Создавайте приложения с примеркой 3D-аксессуаров, масок, а также костюмов в дополненной реальности
Бизнес там,
где вы
Видеовстречи
SberJazz
Без лимитов по времени. Без регистрации. До 100 участников
Jazz Composition
Без лимитов по времени
Без регистрации
До 100 участников
О библиотеке

Лёгкая кроссплатформенная (iOS, Android) библиотека на C++ для отображения анимационных трёхмерных AR-эффектов в режиме реального времени.

SDK даёт возможность быстро и качественно определять положение лиц и поз в режиме реального времени, а также отображать на них анимированные 3D-объекты

Преимущества

SDK оценивает трёхмерную геометрию лица и поз в режиме реального времени на низкопроизводительных мобильных устройствах с достаточным FPS для корректной работы онлайн.

SDK включает модели нейронной сети: Face detection, Head Pose Estimation, Face Alignment и Pose Estimation. Нейронные сети адаптированы под NPU, что позволяет быстрее обрабатывать полученную информация с камеры

Дальность детекции на широкоугольной камере составляет 2–3 метра. Нейронная сеть позволяет определять лица даже при больших поворотах головы. В SDK включен рендер filament, что даёт возможность для быстрого и качественного рендера

Возможности SDK

Решение задач компьютерного зрения

Определение лиц, поз и анализ их изменений

Рендер 3D-моделей

Real-time рендер 3D-моделей в формате glb и их наложение на landmark

Бизнес-логика

Смена сцен, добавление объектов на передний план, анимация объектов на переднем плане в цикле, воспроизведение музыки к сцене

Нагрузка на CPU / RAM

CPU usage, %

libcvprocessor.so — 6
libsrenderer.so — 5
Overall: APP wo render, cv — 0-1
Overall: APP wo render, cv — 11-13

RAM usage, mb

libcvprocessor.so ~ 20
libsrenderer.so ~ 110
Overall: APP wo render, cv ~ 117
Overall: APP wo render, cv ~ 250

Размер, mb

libcvprocessor.so — 8
libsrenderer.so — 30

Time ex, NPU

FaceDet + FaceAlign — 13 ms (wo cv_service)
Poses+FaceDet+FaceAlign — 43 ms (30 pose + 13)
Render — менее 1 ms

Distance, m

FaceDet + FaceAlign — 2,5-3 (light condition)
Poses+FaceDet+FaceAlign — 3-4

Примеры использования

Чудо-книжки
Чудо-книжки

Устройтесь поудобнее, запустите историю и отправляйтесь в волшебный AR-мир. Погрузиться в атмосферу вам помогут стильные маски героев, продуманные декорации и необычный саундтрек. Побудьте и рассказчиком, и Красной Шапочкой, и рычащим Волком, прогуляйтесь через магический лес, загляните в комнату к Бабушке — скучно не будет! Вас ждет веселый и сближающий семейный досуг. Показывайте эти сказки детям перед сном или просто весело проводите время в любой удобный момент. Сейчас в приложении одна сказка, но мы уже работаем над новыми и обязательно расскажем, когда они станут доступны

Технологии
MagicLook SDK
Создавайте приложения с примеркой 3D-аксессуаров, масок, а также костюмов в дополненной реальности
Сделано
в Лаборатории Сбера
Команда развивает науку, проводит прикладные исследования и создаёт инновации. Мы регулярно публикуем актуальные вакансии
ПАО Сбербанк использует cookie для персонализации сервисов и удобства пользователей.
Вы можете запретить сохранение cookie в настройках своего браузера.