Теперь виртуальный ассистент Джой работает на основе одной из самых больших и качественных генеративных моделей на русском языке — ruGPT-3 Large. Раньше Джой использовала модель GPT-2 Medium, которая была обучена на большом корпусе русской литературы и специальном диалоговом датасете, чтобы строить фразы на лету. Отличие новой версии от предыдущей не только в тщательно настроенной системе дообучения модели для ведения диалога, но и в масштабе — для генерации ответа ассистента используется 760 миллионов параметров ruGPT-3 Large.
Джой — один из виртуальных ассистентов семейства Салют, которые живут в мобильных приложениях СберБанк Онлайн и Сбер Салют, а также на умных устройствах Sber.
ruGPT-3 — это авторегрессионная генеративная языковая модель на архитектуре трансформер. Это первая удобная модель для решения задач few-shot & zero-shot learning. Она подходит для решения задач с небольшим количеством данных и позволяет легко сформировать синтетический набор данных.
Узнать подробнее о генеративной модели и перейти к онлайн-демо можно на странице ruGPT-3.