Обновления моделей

Обновлено 11 февраля 2025

В этом разделе вы найдете информацию о качестве работы и возможностях новых версий моделей GigaChat.

Дата релиза: 31.10.2024

Статус: Доступна

Что нового

Добавлена новая модель GigaChat Max. Для работы с моделью нужны оплаченные токены.
Для запросов к модели используйте адрес https://gigachat-preview.devices.sberbank.ru/api/v1/, а в поле model передавайте GigaChat-Max-preview.

Изменение метрик

В таблице представлены основные характеристики и возможности новой версии моделей.

Результаты проверки моделей

В таблице представлены результаты проверки моделей с помощью разных бенчмарков.

Метрика	GigaChat Lite	GigaChat Pro	GigaChat Max (New)
MMLU (5-shot)	0.65 (+0.01)	0.69	0.8
ruMMLU (5-shot)	0.6 (+0.01)	0.65 (+0.03)	0.75
GSM8K (5-shot)	0.66 (+0.05)	0.78 (+0.01)	0.93
MATH (4-shot)	0.34 (+0.07)	0.45 (+0.14)	0.53
MT-Bench (с фильтром безопасности)	7.1 (-0.11)	7.45 (-0.25)	8.2
MT-Bench (average) (без фильтра безопасности)	6.93 (-0.28)	7.59 (-0.11)	8.3
Arena-Hard (с фильтром безопасности)			50.7
Arena-Hard EN (без фильтра безопасности)	11.0 (-5.6)	18.0 (-3.4%)	51.9
Arena-Hard RU (с фильтром безопасности)			70.7
Arena-Hard RU (без фильтра безопасности)	25.9 (5.7%)	45.5 (+17.3)	73.3
Human Eval (0-shot)	0.37 (0.01)	0.44 (+0.04)	0.64