Сбер представил ruDALL-E — сеть для генерации картинок из текста

Сбер создал нейронную сеть ruDALL-E, которая способна создавать изображения на основе текстового описания на русском языке.

Использовать её можно для создания графических материалов: иллюстраций, изображений для рекламы, копирайтинга, архитектурного и промышленного дизайна.

Попробовать ruDALL-E можно на сайте https://rudalle.ru/.

Нейросеть одновременно обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию.

Есть два варианта модели:
— ruDALL-E XL, которая содержит 1,3 миллиарда параметров;
— ruDALL-E 12B с 12 миллиардами параметров.

Модель ruDALL-E XL можно использовать бесплатно, загрузив её с сервиса Github.

Создание изображений происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает наиболее удачные из них и соответствующие описанию, а третья увеличивает их в размере без потери качества. Таким образом можно получить неограниченное количество новых изображений по указанным характеристикам.

Команды SberDevices и Sber AI при содействии SberCloud на основе публикации OpenAI воспроизвели код и запустили обучение нейросети на платформе ML Space на базе суперкомпьютера Кристофари.

В результате получилась самая большая модель такого рода в мире, работающая с русским языком. Обучение заняло 23 тысячи GPU-часов на массиве данных из 120 миллионов пар «текст-изображение». Проект по обучению ruDALL-E стал самым большим нейросетевым вычислительным проектом в России и СНГ.

Исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии» Давид Рафаловский назвал этот проект «настоящим прорывом для русскоязычной индустрии», потому что ещё 2 года назад даже постановку такой задачи было невозможно представить.

Источник: SBER PRESS