Языковая модель от SberDevices признана лучшей

После успешного обучения модели ruBERT команда SberDevices принялась за работу над более продвинутой текстовой моделью — ruRoBERTa. Обучение заняло 3 недели на суперкомпьютере «Кристофари», итоговый датасет (250 Гб текста) похож на тот, что использовался для ruGPT-3, однако из него удалили английский и часть «грязного» Common Crawl.

По оценке Russian SuperGLUE текстовая модель ruRoberta-large finetune стала лучшей по пониманию текста на русском языке после человека. Russian SuperGLUE — главный русскоязычный бенчмарк для общего понимания языка (General Language Understanding) и дальнейшего развития моделей.

Место в рейтинге для модели определяется тем, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание текста.

Также в десятку лидеров вошли ещё 5 моделей от SberDevices: ruT5-large-finetune, ruBert-large finetune, ruT5-base-finetune, ruBert-base finetune, RuGPT3XL few-shot.

Источник: SBER PRESS