Обновления моделей

Обновлено 18 марта 2025

В этом разделе вы найдете информацию о качестве работы и возможностях новых версий моделей GigaChat.

• GigaChat 2: 27.4
• GigaChat: 26.20
• GigaChat: 26.15

Дата релиза: 13.03.2025

Статус: Доступна

Что нового

Добавлена новая линейка моделей GigaChat 2 в версиях Lite, Pro и Max, в которой:

• увеличено большинство метрик по сравнению с предыдущими версиями;
• добавлена поддержка контекста в 128 тыс. токенов;
• улучшены механизмы RLHF и DPO для более стабильной работы в сложных сценариях.

Изменение метрик

В таблице представлены основные характеристики и возможности новой версии моделей.

Характеристики	GigaChat 2 Lite	GigaChat 2 Pro	GigaChat 2 Max
Размер контекста в токенах	128 тыс.	128 тыс.	128 тыс.
Поддержка функций
Генерация изображений
Анализ изображений

Результаты проверки моделей

В таблице представлены результаты проверки моделей с помощью разных бенчмарков.

Метрика	GigaChat 2 Lite	GigaChat 2 Pro	GigaChat 2 Max
MMLU (5-shot)	0.72 (+0.08)	0.82 (+0.12)	0.86 (+0.06)
MMLU PRO (5-shot)	0.52 (+0.2)	0.64 (+0.24)	0.66 (+0.11)
ruMMLU (5-shot)	0.66 (+0.07)	0.77 (+0.12)	0.80 (+0.05)
GSM8K (5-shot)	0.89 (+0.23)	0.95 (+0.1)	0.95 (+0.02)
MATH (4-shot)	0.62 (+0.28)	0.76 (+0.31)	0.74 (+0.21)
Human Eval (0-shot)	0.70 (+0.25)	0.91 (+0.4)	0.87 (+0.08)
Human Eval Plus (0-shot)	0.64 (+0.27)	0.86 (+0.41)	0.83 (+0.11)
Arena-Hard RU  (без фильтра безопасности)	0.55 (+0.31)	0.74 (+0.32)	0.83 (+0.16)
MBPP	0.79 (+0.2)	0.86 (+0.28)	0.89 (+0.17)
IFEval(en) (0-shot)	0.74 (+0.33)	0.83 (+0.42)	0.89 (+0.2)
IFEval(ru) (0-shot)	0.65 (+0.27)	0.78 (+0.33)	0.83 (+0.39)

Дата релиза: 31.10.2024

Статус: Доступна

Что нового

• Добавлена новая модель GigaChat Max.
• Для работы с моделью нужны оплаченные токены.

Изменение метрик

В таблице представлены основные характеристики и возможности новой версии моделей.

Характеристики	GigaChat Lite	GigaChat Pro	GigaChat Max
Размер контекста в токенах	32 тыс.	32 тыс.	32 тыс.
Поддержка функций
Генерация изображений
Анализ изображений

Результаты проверки моделей

В таблице представлены результаты проверки моделей с помощью разных бенчмарков.

Метрика	GigaChat Lite	GigaChat Pro	GigaChat Max
MMLU (5-shot)	0.65 (+0.01)	0.69	0.8
ruMMLU (5-shot)	0.6 (+0.01)	0.65 (+0.03)	0.75
GSM8K (5-shot)	0.66 (+0.05)	0.78 (+0.01)	0.93
MATH (4-shot)	0.34 (+0.07)	0.45 (+0.14)	0.53
MT-Bench  (с фильтром безопасности)	7.1 (-0.11)	7.45 (-0.25)	8.2
MT-Bench (average)  (без фильтра безопасности)	6.93 (-0.28)	7.59 (-0.11)	8.3
Arena-Hard  (с фильтром безопасности)			50.7
Arena-Hard EN  (без фильтра безопасности)	11.0 (-5.6)	18.0 (-3.4%)	51.9
Arena-Hard RU  (с фильтром безопасности)			70.7
Arena-Hard RU  (без фильтра безопасности)	25.9 (5.7%)	45.5 (+17.3)	73.3
Human Eval (0-shot)	0.37 (0.01)	0.44 (+0.04)	0.64

Дата релиза: 01.10.2024

Статус: Доступна

Что нового

• Теперь в запросах к модели GigaChat Pro можно передавать изображения.
• В моделях GigaChat Lite и Pro увеличен размер контекста с 8192 до 32768 токенов.
• Расширены возможности по стилизации и форматированию ответов. Теперь модели активнее используют markdown-разметку: добавляют заголовки, списки, параграфы и блоки кода.

Изменение метрик

В таблице представлены основные характеристики и возможности новой версии моделей.

Характеристики	GigaChat Lite	GigaChat Pro
Размер контекста в токенах	32 тыс.	32 тыс.
Поддержка функций
Генерация изображений
Анализ изображений

Результаты проверки моделей

В таблице представлены результаты проверки моделей с помощью разных бенчмарков.

Метрика	GigaChat Lite	GigaChat Pro
MMLU (5-shot)	0.64	0.69
ruMMLU (5-shot)	0.59	0.62
GSM8K (5-shot)	0.61	0.77
MATH (4-shot)	0.27	0.31
MT-Bench (average)	7.21	7.7
Arena-Hard EN	16.6	21.4
Arena-Hard RU	20.2	28.2
Human Eval (0-shot)	0.38	0.4