Технологии дополненной реальности

Продукты из этой статьи:

Naviar SDK

Kidsar SDK

MagicLook SDK

Когда люди слышат понятие «дополненная реальность», они часто представляют себе что-то высокотехнологичное и малодоступное. Но если рассказать о системе фильтров и масок в социальных сетях, оживающих детских раскрасках, дизайнерских сервисах онлайн-подборки интерьера, становится понятно, что эта технология — уже давно часть повседневной жизни.

Augmented Reality (AR) стала ключом к новым формам развлечений, инструментом маркетологов и способом обучения. Расцвет AR пришёлся на последнее десятилетие, хотя история развития эффекта насчитывает уже более полувека.

Что такое дополненная реальность (AR) и её развитие

Дополненная реальность — это когда компьютерные возможности используются для расширения и дополнения физического мира графическими объектами, 3D-анимацией, звуками. Компьютер в режиме реального времени накладывает на изображение окружающего пространства на экране различных устройств дополнительные слои с виртуальными объектами.

Технология не заменяет реальную среду искусственной, а лишь вносит в неё то, чего на самом деле быть не может или недоступно в текущий момент. Например, по настоящему столу вряд ли пройдёт живой маленький динозавр, а на звёздном небе не будет стрелочек с указанием названий созвездий. Система AR воплощает в жизнь любые творческие идеи.

Как работает дополненная реальность

Принцип работы технологии, в общих чертах, следующий:

• камера устройства захватывает реальное изображение;
• по специальной разметке и маркерам программа определяет место размещения виртуального объекта и его тип;
• виртуальная картинка накладывается поверх реальной и отображается на экране.

Система AR создаёт эффект погружения двумя способами наложения объектов:

• конструктивным, когда элементы встраиваются в окружающее пространство;
• деструктивным, при котором естественная среда маскируется накладываемыми предметами и образами.

Виды Augmented Reality:

• Маркерная. Для обнаружения места расположения виртуального объекта нужны специальные маркеры — QR-код, цветовая метка и другие.
• Безмаркерная. Искусственный интеллект обнаруживает местоположение объекта по заданным точкам и плоскостям, на которые разделяется зафиксированное ранее пространство. Принцип основан на использовании данных GPS, гироскопа, компаса и других приборов, определяющих положение пользователя. В российском сегменте уже есть инструменты, которые позволяют самостоятельно создавать приложения с безмаркерной дополненной реальностью. Сервис Visual Positioning System от Sber работает с цифровыми слепками локаций, в которых нейросеть запоминает точки видеопотока.
• Проекционная. Отображает видимые человеческому глазу световые голограммы. Из-за сложности для массового применения пока не доступна.
• На основе наложений. Нейросеть обучается на базе обширных библиотек загруженных форм, видов, образов, изображений. По выведенным алгоритмам она распознаёт объекты и пространства, а затем накладывает на них цифровую картинку. Именно так работают маски в социальных сетях и сервисы с эффектом примерки одежды или предметов интерьера.

Технология может работать на смартфонах, планшетах, умных экранах, а также через проекторы и очки дополненной реальности.

В каких сферах используют эффект AR

У технологии практически нет ограничений по содержанию и принципам использования, поэтому она встречается в разных областях:

• Промышленное производство. Оценка состояния оборудования по датчикам, параметры которых отображаются на экране мобильного устройства при наведении камеры на объект. Оптимизация производства упрощается благодаря всплывающим на экране подсказкам.
• Ретейл. Навигация по магазинам и торговым центрам, информация о товарах.
• Игровая индустрия. Совмещение реальности и виртуальных действий дарит пользователям новый игровой опыт. Такие игры, как Ingress или Pokemon Go, заставляют человека двигаться, а не сидеть у монитора.
• Реклама. Демонстрация 3D-моделей продуктов и товаров, например мебели и оборудования, на территории заказчика в прогнозируемых условиях использования. Подбор дисков на автомобиль. Виртуальный показ объектов недвижимости потенциальным покупателям.
• Бьюти-сфера. Примерка наряда, цвета волос, макияжа перед физическим перевоплощением.
• Образование. Интерактивные уроки с плавающими в воздухе планетами или морскими обитателями.
• Развлечения и польза. Приложения, которые показывают, как работает лекарственный препарат на живом человеке, с помощью наложенной графики и схем.
• Туризм и культура. Маршруты, виртуальные гиды, анимированные концерты, оживающие экспонаты музеев.

Дополненная реальность даёт безграничный простор креативной мысли. Именно поэтому в ближайшие 5—10 лет технология станет обыденным явлением.

Какую пользу AR приносит бизнесу

Автоматизация и цифровизация — важные факторы конкурентоспособности бизнеса. Клиентов становится всё сложнее удивить, и именно AR-технологии повышают пользовательский интерес и дают конкурентные преимущества. Интерактивность позволяет привлечь и удержать клиента, повысить узнаваемость компании и, как следствие, увеличить продажи.

Можно выявить проблему целевой аудитории и решить её с помощью Augmented Reality.

Кроме того, дополненная реальность поможет:

• Упростить процесс обучения работе с оборудованием с помощью виртуальных инструкций.
• Оптимизировать штат продавцов-консультантов в магазине благодаря возможности получить информацию о товаре через экран телефона.
• Ускорить работу сотрудников склада, которые смогут увидеть маршрут продвижения к нужному товару.

Примеры приложений с AR технологиями от Сбера

Экосистема Сбера включает в себя виртуальных ассистентов Салют, с помощью которых можно управлять различными девайсами и приложениями голосом и жестами.

Инструменты Сбера позволяют разработчикам создавать собственные навыки для ассистентов и наполнять их различными функциями и технологиями. На платформе Салют и умных устройствах SberBox, SberBox Top, SberPortal пользователям системы доступны приложения разной тематики и содержания. Особое место среди них занимают проекты для детей.

Skyeng

Онлайн-школа Skyeng разработала детскую обучающую игру, в которой инопланетный гость Эл вместе с детьми должен выучить английский язык. Ребёнок совершит виртуальное путешествие с героем игры благодаря специальному зеркалу.

Оно устанавливается на камеру умного устройства SberPortal и распознаёт совершаемые перед ним действия.

На экране совмещается распознанная реальная картинка и виртуальные образы. Интерактивный формат увлекает детей и повышает эффективность обучения. При создании проекта использовался набор Kidsar SDK, с которым можно любую идею превратить в развивающее приложение для детей на SberPortal.

Онлайн-экскурсия по Политехническому музею

В 2021 году команда Sber создала для музея экскурсию, позволяющую увидеть обновленную экспозицию в числе первых. Пользователи iOS могут навести камеру на фасад здания и прямо над ним посмотреть виртуальные локации под руководством робота-гида Сепульки.

Ознакомиться с обновлениями можно и дистанционно: в официальном приложении музея доступны онлайн экскурсии с рассказом Сепульки о выставках, лаборатории, Атриуме и других объектах.

Чудо-книжки

Команда SberDevices с помощью собственной библиотеки MagicLook SDK создала детское приложение для виртуальных ассистентов Салют «Чудо-книжки».

В нём с помощью забавных масок можно стать героем сказки, оказаться в мультипликационных декорациях и поговорить разными голосами. В библиотеку встроены технологии распознавания лиц и изменения поз, рендеринг 3D-объектов наложения, функции анимации, применения музыки, работа со сценами, передним и задним планом.

Приложение работает даже с мобильного телефона.

Приложение аэропорта «Шереметьево»

Технология Visual Positioning System от Sber позволила создать навигацию в терминалах аэропорта в условиях отсутствия качественного GPS-сигнала. Пользователи мобильного сервиса «Шереметьево» могут увидеть на экране смартфона виртуальную карту с наложенной дополненной реальностью.

Система позволяет найти выходы на регистрацию и посадку, площадку такси и аэроэкспресса, кафе и любой другой объект на территории аэропорта. Среди ограничений повсеместного распространения системы AR — высокое потребление аккумуляторной энергии, недостаточное расширение экранов мобильных устройств, вес гарнитуры, отсутствие качественной мультиплатформенности, слабое качество интернет-связи.

Устранение этих препятствий приведёт к тому, что Augmented Reality станет неотъемлемой частью жизни человека. Шаги в этом направлении уже делаются, о чём свидетельствует рост количества AR-приложений и инструментов для их разработки.

История развития технологии

Дополненная реальность развивалась параллельно с VR, которая создаёт эффект полного погружения в искусственные миры.

Первые мысли о наложении изображений на реальную жизнь будоражили умы уже более века назад. В 1901 году автор книг про волшебную страну Оз Л. Франк Баум в одном из романов упоминает особенные электронные очки, которые могут дополнять видимую глазами картинку различной информацией.

В 1935 году идею развил писатель-фантаст Стенли Вейнбаум в книге «Очки Пигмалиона». На книгах той эпохи выросло целое поколение учёных и энтузиастов.

В 1956 году человек из кинематографа Мортон Хейлиг создал первое масштабное устройство для погружения в искусственное пространство — проект Sensorama. Специальная будка была оснащена мониторами, звуковой аппаратурой, имитировала вибрацию, запахи, дождь, ветер.

Инновация вызвала неподдельный интерес, но из-за громоздкости системы и дороговизны идея не получила развития. Хейлиг также предпринял попытку создать шлем с мини-телескопами и динамиками внутри. Устройство могло воспроизводить запахи и ветер, но, как и Sensorama, требовало дорогостоящей целенаправленной съёмки фильмов под его параметры.

В 1968 году Айвен Сазерленд, в будущем получатель множества наград за разработки, создал свою версию шлема, который получил пугающее название «Дамоклов меч». Тяжёлое устройство крепилось на потолок и висело над головой пользователя. В нём работали первые технологии отслеживания движений глаз и головы, но из-за опасности применения оно перешло в раздел прототипов и артефактов.

Далее события развивались быстро:

• В 1974 году исследователь Майрон Крюгер при университете Коннектикута спроектировал лабораторию Videoplace, посвящённую проекциям и искусственной реальности.
• В 1980 году появился шлем EyeTap, способный отображать наложенные поверх обзора данные прямо перед взглядом пользователя.
• В 1982 году Ден Рейтон дополнил телевизионные прогнозы погоды наложением карт и стрелок движения воздушных масс.
• В 1985 году NASA представило публике шлем VIEW с ЖК-дисплеем и сенсорные перчатки DataGlove.
• В 1990 Том Коделл упростил работу инженеров компании «Боинг» с помощью шлемов с эффектом наложения чертежей и разметок заводской территории. Он же впервые решил назвать эту систему дополненной реальностью.
• В 1992 году вышел фильм «Газонокосильщик», прославивший очки виртуальной реальности EyePhone Джона Ланье.
• В том же году появились Virtual Fixtures, которые использовались военными для обучения пилотов и направления техники.
• Появление микропроцессоров ускорило темпы разработок. В 1993 году Стив Файнер создал KARMA — виртуальную инструкцию для обслуживания копировальной техники.
• В 1994 году шоу «Танцы в киберпространстве» продемонстрировало возможности системы AR для творчества и искусства — артисты танцевали рядом с виртуальными проекциями.
• В 1995 году появился Navicam — устройство с дисплеем и камерой на обратной стороне, которая могла распознавать цветные метки на предметах и отображать информацию о них на экране.
• Через год был создан матричный код, который можно было нанести на предмет и после наведения камеры увидеть на экране закодированное изображение.
• 1998 год стал примечательным для американского футбола. Во время прямой трансляции на экран стала добавляться разметка жёлтых линий и цифры счёта.

В конце 90-х система AR активно работала в военной, космической, научной сферах жизни человека и постепенно проникала в другие. Именно тогда появились первые доступные технологии для самостоятельной разработки приложений и программ — библиотеки с открытым кодом.

К 2005 году стали распространяться смартфоны, а вместе с ними и AR-технологии для мобильных устройств. Появились первые игры с Augmented Reality.

В 2014 году мир увидел очки Google Glass, а год спустя —шлем HoloLens от Microsoft.

В 2016 году пользователи смартфонов во всём мире ходили по своим городам в поисках виртуальных покемонов в игре Pokemon Go. Сейчас эффект AR используют Volkswagen, Lamoda и другие компании. Дополненная реальность всё больше вовлекает людей в виртуальное пространство и меняет способы потребления контента.

Российский рынок претерпевает важные изменения, связанные с импортозамещением и особыми условиями для IT-специалистов. Отечественные AR-технологии активно внедряются в бизнес и работают в медиапространстве.

Продукты из этой статьи:

Naviar SDK

Kidsar SDK

MagicLook SDK