Команда Сбера решает задачу выделения объекта для замены фона с помощью нейросети

Матирование изображений (Image matting) решает задачу выделения переднего плана с точными границами. Это помогает заменять фон и совмещать изображения. Основное отличие от сегментации заключается в том, что маска выделяется на субпиксельном уровне, что позволяет получить аккуратные границы на высокочастотных деталях изображения (волосы, украшения, контуры одежды и т.д.).

Разработкой этой технологии в Сбере занимается команда RnD CV. В статье на Habr они рассказали о своём решении и о том, как решали проблему нехватки данных, миновав этап ручной разметки.

Обобщающая способность решения позволила получить state-of-the-art результаты на изображениях с животными и конкурентные результаты на портретах людей.

Полученное решение может быть использовано для создания сервиса по переносу портретных изображений на новый фон. Помимо этого, матирующая сеть может быть использована в качестве учителя для дистилляции сегментирующей нейросети в SberJazz.

Модели для генерации синтетических портретов и выделения маски выложены на GitHub.