ym88659208ym87991671
Получить ответ модели на сообщения | Документация для разработчиков

Получить ответ модели на сообщения

Обновлено 21 февраля 2024
POST
/chat/completions

Возвращает ответ модели с учетом переданных сообщений.

Запрос

Body

    model
    string
    required

    Возможные значения: [GigaChat, GigaChat:latest, GigaChat-Plus, GigaChat-Pro]

    Название модели. Описание доступных моделей смотрите в разделе Модели GigaChat.

    messages object[]required

    Массив сообщений, которыми пользователь обменивался с моделью.

  • Array [
  • role
    string

    Возможные значения: [system, user, assistant, search_result]

    Роль автора сообщения:

    • system — системный промпт, который задает роль модели, например, должна модель отвечать как академик или как школьник;
    • user — сообщение пользователя;
    • assistant — ответ модели;
    • search_result — позволяет передать модели документ, который она должна использовать для генерации ответов. Используется для поддержки RAG.

    Для сохранения контекста диалога с пользователем передайте несколько сообщений. Подробнее читайте в разделе Работа с историей чата.

    content
    string

    Текст сообщения

  • ]
  • temperature
    float

    Температура выборки. Значение температуры должно быть не меньше ноля. Чем выше значение, тем более случайным будет ответ модели. При значениях температуры больше двух, набор токенов в ответе модели может отличаться избыточной случайностью.

    Значение по умолчанию зависит от выбранной модели (поле model) и может изменяться с обновлениями модели.

    top_p
    float

    Возможные значения: >= 0 и <= 1

    Параметр используется как альтернатива температуре (поле temperature). Задает вероятностную массу токенов, которые должна учитывать модель. Так, если передать значение 0.1, модель будет учитывать только токены, чья вероятностная масса входит в верхние 10%.

    Значение по умолчанию зависит от выбранной модели (поле model) и может изменяться с обновлениями модели. Значения изменяются в диапазоне от ноля до единицы включительно.

    Значение изменяется в диапазоне от 0 до 1.

    n
    int64

    Возможные значения: >= 1 и <= 4

    По умолчанию: 1

    Количество вариантов ответов, которые нужно сгенерировать для каждого входного сообщения.

    Количество вариантов может изменяться от одного до четырех. По умолчанию модель возвращает один вариант ответа.

    stream
    boolean

    По умолчанию: false

    Указывает, что сообщения надо передавать по частям в потоке.

    Сообщения передаются по протоколу SSE.

    Поток завершается событием data: [DONE].

    Подробнее читайте в разделе Потоковая передача токенов.

    max_tokens
    int64

    По умолчанию: 1024

    Максимальное количество токенов, которые будут использованы для создания ответов

    repetition_penalty
    float

    Количество повторений слов:

    • Значение 1.0 — нейтральное значение.
    • При значении больше 1 модель будет стараться не повторять слова.

    Значение по умолчанию зависит от выбранной модели (поле model) и может изменяться с обновлениями модели.

    update_interval
    number

    Параметр потокового режима ("stream": "true"). Задает минимальный интервал в секундах, который проходит между отправкой токенов. Например, если указать 1, сообщения будут приходить каждую секунду, но размер каждого из них будет больше, так как за секунду накапливается много токенов.

Ответы

OK

Schema
    choices object[]

    Массив ответов модели.

  • Array [
  • message object

    Сгенерированное сообщение.

    role
    string

    Роль автора сообщения.

    content
    string
    index
    int32

    Индекс сообщения в массиве начиная с ноля.

    finish_reason
    string

    Возможные значения: [stop, length, blacklist]

    Причина завершения гипотезы. Возможные значения:

    • stop — модель закончила формировать гипотезу и вернула полный ответ;
    • length — достигнут лимит токенов в сообщении;
    • blacklist — запрос подпадает под тематические ограничения.
  • ]
  • created
    int64

    Дата и время создания ответа в формате Unix time.

    model
    string

    Возможные значения: [GigaChat, GigaChat:latest, GigaChat-Plus, GigaChat-Pro]

    Название модели. Описание доступных моделей смотрите в разделе Модели GigaChat.

    usage object

    Данные об использовании модели.

    prompt_tokens
    int32

    Количество токенов во входящем сообщении (роль user).

    completion_tokens
    int32

    Количество токенов, сгенерированных моделью (роль assistant).

    total_tokens
    int32

    Общее количество токенов.

    system_tokens
    int32

    Количество токенов в системном промпте (роль system).

    object
    string

    Название вызываемого метода.

Loading...
ПАО Сбербанк использует cookie для персонализации сервисов и удобства пользователей.
Вы можете запретить сохранение cookie в настройках своего браузера.