Потоковая генерация токенов

Обновлено 27 марта 2024

Режим получения потока токенов поможет обрабатывать ответ GigaChat по мере его генерации.

При включении этого режима GigaChat передает токены в потоке коротких сообщений, формат которых соответствует протоколу server-sent events. Последним в потоке будет событие data: [DONE].

• GigaChat API
• GigaChain

Вы можете включить потоковую генерацию токенов. Для этого в запросе POST /chat/completions нужно передать параметр "stream": true.

Пример запроса:

curl https://gigachat.devices.sberbank.ru/api/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer Token ***' \
  -d '{
  "model": "GigaChat",
  "messages": [{"role": "user", "content": "Say this is a test!"}],
  "temperature": 0.7,
  "stream": true
}'

Пример потока событий:

data: 
{
    "choices":
    [
        {
            "delta":
            {
                "content": "GigaСhat",
                "role": "assistant"
            },
            "index": 0
        }
    ],
    "created": 1683034756,
    "model": "GigaChat",
    "object": "chat.completion"
}

data:
{
    "choices":
    [
        {
            "delta":
            {
                "content": " спешит"
            },
            "index": 0
        }
    ],
    "created": 1683034756,
    "model": "GigaChat",
    "object": "chat.completion"
}

data:
{
    "choices":
    [
        {
            "delta":
            {
                "content": " на"
            },
            "index": 0
        }
    ],
    "created": 1683034756,
    "model": "GigaChat",
    "object": "chat.completion"
}

data:
{
    "choices":
    [
        {
            "delta":
            {
                "content": " помощь"
            },
            "index": 0
        }
    ],
    "created": 1683034756,
    "model": "GigaChat",
    "object": "chat.completion"
}

data: [DONE]

Для поддержки потоковой генерации токенов с помощью GigaChain нужно унаследоваться от класса BaseCallbackHandler и инициализировать модуль GigaChat в режиме обработки потока токенов streaming=True:

from langchain.schema import HumanMessage
from langchain.callbacks.base import BaseCallbackHandler
from langchain.chat_models.gigachat import GigaChat


class StreamHandler(BaseCallbackHandler):
    def __init__(self, initial_text=""):
        pass

    def on_llm_new_token(self, token: str, **kwargs) -> None:
        print(f"{token} -", end="", flush=True)
        
chat = GigaChat(credentials='<авторизационные_данные>', streaming=True, callbacks=[StreamHandler()])

chat([HumanMessage(content="Напиши краткое содержание романа Евгений Онегин")])