Виртуальная и дополненная реальность

Продукты из этой статьи:

Naviar SDK

Kidsar SDK

MagicLook SDK

С помощью искусственного интеллекта создаются интерактивные миры, в которых с различной степенью сходства имитируется человеческая реальность.

Ощущения передаются пользователю через его органы чувств, прежде всего зрение, слух, осязание. Для полноты картины могут подключаться даже запахи.

Поискать в своём городе покемона, примерить платье онлайн, поучаствовать в битве фантазийных персонажей, стать пилотом самолёта — всё это возможности, которые открывает виртуальная реальность. И разработчики создают всё новые способы применения VR и AR не только в качестве развлечения, но и в других сферах жизни.

Принцип работы технологии виртуальной реальности

Параллельно развиваются три типа искусственной реальности:

• виртуальная;
• дополненная;
• смешанная.

У каждого из них — свои особенности. Смешанная, или Mixed Reality (MR), — вариант гибридного применения обеих технологий.

Virtual Reality

Виртуальная реальность полностью создаётся компьютером. Самый распространённый способ попасть в VR — специальные очки или шлемы. Это гарнитура, которая проводным или беспроводным способом подключается к компьютеру, игровой консоли или смартфону.

Внутри расположены один или два ЖК-дисплея, часто применяют Super-fast LCD и OLED. Масштаб картинки и настройка стереоскопического изображения регулируется встроенными линзами. Традиционно угол обзора составляет около 100 градусов — этого достаточно, чтобы устранить эффект экрана и полностью погрузить в искусственный мир.

На дисплее видео отображается с частотой кадров от 60 до 120 в секунду. Минимальное время задержки, как правило, не более 50 мс.

Фокусировка взгляда, размытие переднего или заднего плана, движение картинки вслед за глазами усиливают эффект присутствия. Это возможно благодаря тому, что ИК-датчики внутри гарнитуры отслеживают взгляд. Такая функция есть не во всех представленных на рынке шлемах.

Ещё одна составляющая технологии — трекинг. Это отслеживание движения головы и тела пользователя. Есть два способа трекинга:

• Внутренний. Датчики и широкоугольные камеры с подсветкой располагаются непосредственно на шлеме и фиксируют положение тела и окружающих предметов. Основные считывающие движения устройства — гироскоп и акселерометр. Метод может быть неточным: система не всегда распознаёт руки за спиной или скрещённые ноги. Проблему решают контроллеры, которые пользователь держит в руках. Они не только фиксируют движения, но и позволяют управлять инвентарём.
• Внешний. В помещении напротив друг друга на штативах или других возвышенностях располагаются датчики-маяки, которые замыкают игровое пространство. С помощью высокочастотных миганий маяки постоянно контролируют малейшие изменения положения тела игрока и передают данные компьютеру для корректировки картинки на дисплее. Способ максимально точный и эффективный.

Некоторые производители предлагают дополнительные устройства для комфортного нахождения в вымышленной среде — «умные» перчатки, беговые дорожки для имитации ходьбы и даже оборудование для управления средой голосом.

Технологии прогнозируют стремительный рост. Уже скоро в свободном доступе могут появиться VR костюмы, в разы увеличивающие степень погружения и остроту ощущений.

Чаты, социальные сети, ивенты в других измерениях станут доступнее. Любой пользователь сможет присутствовать на них в виде аватара.

Видеозвонки в SberJazz

Общайтесь с друзьями и близкими где бы вы ни были

Попробовать сейчас

Augmented Reality

В дополненной реальности графическая картинка накладывается на реальную и создаётся единая плоскость, которую видит пользователь на экране своего устройства.

С технологией знаком любой пользователь социальных сетей — различные фильтры и маски на видео позволяют создавать интересный запоминающийся контент. Прицелы на военной технике, выведенные на экран бортовым компьютером, — это тоже дополненная реальность.

Принцип работы основан на обучении нейросети. Она учится распознавать объекты и маркеры реальности, а также фиксировать местоположение.

По загруженной библиотеке образов с описанием их общих черт сеть распознаёт, например, глаза человека или автомобиль на улице. Если нужно расположить графику в конкретном месте, на него фиксируется маркер — цифровой код. При наведении камеры на эту точку в кадре появится нужное изображение.

Всё окружающее пространство искусственный интеллект разделяет на карту точек и плоскостей, по которым может определить местоположение пользователя.

С помощью AR-технологии любое мобильное приложение можно дополнить полезными опциями, например, возможностью измерять размеры и расстояния без реальной рулетки или видеть карту звёзд прямо на небе в режиме реального времени. И создать это не так сложно, как кажется.

В открытом доступе есть различные сервисы, которые способны точно определять расположение камеры и размещать в выделенной точке графические 3D-объекты.

Например, инструмент Naviar SDK от команды разработчиков SberDevices позволяет интегрировать дополненную реальность в любой проект.

Сходство между виртуальной и дополненной реальностью

Сходство VR и AR выражено в обобщённых чертах:

• Созданы с использованием схожих технологий. Прежде всего это трекинг, который позволяет определить положение пользователя в пространстве и направление фокуса его объектива.
• Служат для одних и тех целей — развлекательных, познавательных, исследовательских, обучающих — и в целом улучшают качество жизни людей.
• Стали результатом развития IT-технологий и совершенствуются параллельно.
• Несут в себе большой потенциал для новых прорывов в науке, медицине, промышленности и других сферах.

В остальном это два разных направления IT-индустрии с очевидным разграничением сфер применения и с различной доступностью для пользователей.

Различия между виртуальной и дополненной реальностью

Виртуальная реальность создаёт мир без границ. Экран, расположенный перед глазами, ведёт пользователя по выдуманному миру, полностью блокируя настоящий. В AR графика накладывается на реальную картинку.

VR взаимодействует только с пользователем в рамках вымышленного мира. Дополненная —встраивается в окружающее пространство в различных форматах. AR может не только накладывать графику на реальное изображение, но и считывать информацию с действительности. Именно так устроена библиотека Kidsar SDK от Sber. Сервис создан для расширения возможностей устройства Sber Portal. Экран благодаря специальному зеркалу для камеры и набору карточек превращается в полноценный интерактивный развивающий комплекс для детей. Оптика считывает действия ребёнка и переносит их на монитор, даёт подсказки и в игровой форме обучает новому. С помощью технологии можно создавать детские игры любого формата — викторины, направленные на изучение языков, животных, цветов, явлений природы и т. д.

Для доступа к технологиям используются разные устройства:

• для VR — очки, шлемы и даже целые комнаты, оборудованные аппаратурой, воздействующей на органы чувств человека;
• для AR — экраны мобильных устройств, которые дополняют мир через объектив камер.

Пользователь VR настолько забывает, что он в выдуманном пространстве, что это может ввести в заблуждение его вестибулярный аппарат. В шлеме иногда укачивает, поэтому понадобится время, чтобы привыкнуть.

Есть устройства с забралами, которые можно откинуть, чтобы вернуться в реальность и перевести дух.

Использование виртуальной и дополненной реальностей

Основное направление внедрения искусственной реальности — развлекательно-игровые сервисы. Пользователи ходят на виртуальные концерты, обустраивают цифровые города, полностью погружаются в любимые игры.

AR популярна в индустрии красоты: клиент может предварительно подобрать оттенок волос или оценить на себе подобранный стилистом образ.

Аналогичным образом работают приложения, где пользователи самостоятельно дополняют внешность вариантами стрижек, макияжа, примеряют забавные маски. При создании таких сервисов разработчики могут пользоваться готовыми библиотеками.

Например, приложение для ассистентов Салют «Чудо-книжки» создано с помощью сервиса MagicLook SDK от Sber. Во время его использования ребёнок может увидеть себя на экране в виде персонажей сказок благодаря анимированным 3D-маскам.

Технологии искусственной реальности применяются и в других сферах:

• Образование. В интерактивном мире тренируются будущие пилоты и капитаны кораблей, изучают историю и археологию студенты высокотехнологичных учебных заведений. В школах проводят VR-уроки астрономии, биологии и других предметов. AR применяют в некоторых автошколах для имитации других участников дорожного движения. Таким же образом оживают персонажи детских развивающих книжек.
• Медицина. Будущие врачи быстрее освоятся в профессии, если смогут проводить тренировочные операции и изучать анатомию с помощью погружающих лекции об устройстве человеческого тела. На вымышленных пациентах можно опробовать экспериментальные хирургические методы, а лекции дополнить графикой для наглядности.
• Наука. В VR-пространстве возможны безопасные опыты с атомами, ядовитыми химическими веществами, здесь можно моделировать сценарии различных событий и проводить социологические и другие исследования.
• Архитектура и инженерия. Плоские макеты можно превратить в масштабные VR-презентации, в которых заказчик сможет изучить каждую деталь и увидеть, как будет выглядеть итоговый объект. Дизайнеры с помощью AR-технологий смогут продемонстрировать как изменится помещение, если добавить некоторые объекты или изменить цвет стен.

Фактически применение искусственной реальности безгранично. Покупатель недвижимости может осмотреть её, даже если находится за тысячи километров.

Крупное предприятие покажет покупателям своей продукции все этапы производства во время VR-экскурсии. Студия восточных практик проведёт медитацию в тихом саду или на берегу моря.

Виртуальная реальность за более чем полувековую историю развития прошла путь от военных технологий до распространения в десятки сфер жизни человека. Разработчики стремятся совершенствовать их с позиции пользы для общества, поэтому в ближайшие несколько лет будут создаваться новые сложные и интересные проекты. Можно ожидать, что VR уведёт многие социальные стороны жизни в вымышленные миры, AR-обзором будет дополнен каждый автомобиль и в целом обе технологии помогут оптимизировать и автоматизировать многие процессы.

Продукты из этой статьи:

Naviar SDK

Kidsar SDK

MagicLook SDK