SymFormer

Модель для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста
screen picture
О модели

SymFormer разработана на основе модели Performer. Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из 160 тысяч композиций разных стилей: от классики до современной электронной музыки и рока

Скажите ассистенту в приложениях Салют или СберБанк Онлайн
Треки создаются по вымышленному названию артиста и произведения. Ими можно делиться с друзьями!
Скоро на устройствах Sber с экранами
Сервис работает на основе нейросетей CLaMP и SymFormer, а создание музыки стало возможным благодаря адаптации подхода text-2-image к нотному домену
Как SymFormer создаёт музыку


Получает информацию о стиле и генерирует несколько вариантов структуры будущего трека

Создаёт несколько вариантов мультиинструментальной композиции, которые соответствуют заданному стилю

Выбирает наиболее удачные варианты по стилю и композиции. В итоге получается уникальное музыкальное произведение

Thriving Machine — нейросетевой альбом

Треки распространяются по публичной открытой лицензии ПАО СберБанк: их можно копировать и распространять на любом носителе, в любом формате и в любых целях, включая коммерческие. Например, использовать в качестве фоновой музыки в своих приложениях для ассистентов Салют

Вопросы и ответы

Чем полезна модель?
SymFormer создаёт музыку на основе текстового запроса. Например, можно придумать любое название трека или артиста и попросить придумать трек.
Полученную музыку можно оценивать, составлять плей-листы и скачивать для дальнейшего использования.
Как работает сервис?
SymFormer работает на основе нейросетей CLaMP и SymFormer. Создавать музыку помогла адаптация подхода text-2-image к нотному домену.
После текстового запроса нейросеть получает информацию о стиле и генерирует несколько вариантов структуры будущего трека.
Затем создаёт несколько вариантов композиции, подходящей выбранному стилю, и возвращает самые удачные варианты. В итоге получается уникальный трек, соответствующий текстовому запросу.
Сколько стоит использование треков?
Созданный с помощью сервиса музыкальный контент бесплатный. Его можно использовать как в личных, так и в коммерческих целях, например, для создания фоновой музыки в кафе.
С этим продуктом смотрят
ПАО Сбербанк использует cookie для персонализации сервисов и удобства пользователей.
Вы можете запретить сохранение cookie в настройках своего браузера.