Выбор модели для генерации
Обновлено 5 декабря 2024
При работе с GigaChat с помощью API и SDK нужно выбирать модель, к которой будет сделан запрос. Разные модели можно использовать в разных сценариях. Подробное описание моделей — в разделе Модели GigaChat.
- GigaChat API
- Python
Чтобы задать модель, передайте ее название в поле model, в запросе POST /chat/completions:
curl -L -X POST 'https://gigachat.devices.sberbank.ru/api/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Accept: application/json' \
-H 'Authorization: Bearer <токен_доступа>' \
--data-raw '{
"model": "название_модели",
"messages": [
{
"role": "user",
"content": "Привет! Расскажи о себе."
}
],
"n": 1,
"stream": false,
"max_tokens": 512,
"repetition_penalty": 1,
"update_interval": 0
}'
Чтобы явно задать модель, которая будет обрабатывать запросы, передайте необязательный параметр model при инициализации GigaChat. По умолчанию запросы предаются в модель GigaChat Lite.
Импорт объекта зависит от того, какую библиотеку вы используете.
- gigachat
- langchain-gigachat
from gigachat import GigaChatt
giga = GigaChat(credentials='ключ_авторизации', model='название_модели')
from langchain_gigachat.chat_models import GigaChat
giga = GigaChat(credentials='ключ_авторизации', model='название_модели')
Возможные значения поля model:
GigaChat— подойдет для решения более простых задач, требующих при этом максимальной скорости работы модели. При этом стоимость работы с моделью ниже, так как для ее работы нужно меньше аппаратных ресурсов.GigaChat-Pro— модель лучше следует сложным инструкциям и может выполнять более комплексные задачи: значительно повысилось качество суммаризации, переписывания и редактирования текстов, ответов на различные вопросы.GigaChat-Max— продвинутая модель для сложных задач, требующих высокого уровня креативности и качества работы.