gRPC API

Обновлено 23 мая 2024

Для обмена данными с сервисом GigaChat вы можете использовать gRPC-протокол. Подробнее о нем читайте в официальной документации.

Совершать запросы по протоколу gRPC удобно, если нужно:

максимально быстро получить ответ;
поддержать отзывчивый интерфейс с отображением пользователю промежуточных результатов работы нейросети.

Адрес для передачи запросов по протоколу gRPC:

gigachat.devices.sberbank.ru

Для работы с API используйте proto-файл.

gigachatv1.proto

syntax = "proto3";
 
package gigachat.v1;
 
option go_package = "./;protocol";
 
service ChatService {
  rpc Chat (ChatRequest) returns (ChatResponse);
  rpc ChatStream (ChatRequest) returns (stream ChatResponse);
}
 
message ChatRequest {
  ChatOptions options = 1;
  string model = 2;
  repeated Message messages = 3;
}
 
message ChatOptions {
  float temperature = 1;
  float top_p = 2;
  int32 max_alternatives = 3;
  int32 max_tokens = 4;
  float repetition_penalty = 5;
  float update_interval = 6;
  repeated string flags = 7;
}
 
message Message {
  string role = 1;
  string content = 2;
  string unprocessed_content = 3;
}
 
message ChatResponse {
  repeated Alternative alternatives = 1;
  Usage usage = 2;
  ModelInfo model_info = 3;
  int64 timestamp = 4;
}
 
message Alternative {
  Message message = 1;
  string finish_reason = 2;
  int32 index = 3;
}
 
message Usage {
  int32 prompt_tokens = 1;
  int32 completion_tokens = 2;
  int32 total_tokens = 3;
}
 
message ModelInfo {
  string name = 1;
  string version = 2;
}
 
 
service ModelsService {
  rpc ListModels (ListModelsRequest) returns (ListModelsResponse);
  rpc RetrieveModel (RetrieveModelRequest) returns (RetrieveModelResponse);
}
 
message ListModelsRequest {}
 
message ListModelsResponse {
  repeated Model models = 1;
}
 
message Model {
 string name = 1;
 string object = 2;
 string owned_by = 3;
}
 
message RetrieveModelRequest {
  string name = 1;
}
 
message RetrieveModelResponse {
  Model model = 1;
}

Авторизация

Запросы к сервису авторизуются с помощью токена доступа по протоколу OAuth 2.0. Токен доступа передается в заголовке authorization. Пример:

Bearer <токен доступа>

Подробно о том как получить токен доступа читайте в разделах Быстрый старт для физических лиц и Быстрый старт для ИП и юридических лиц.

Описание методов

Получить список моделей

Возвращает массив объектов с данными доступных моделей. Выполняется с пустым телом запроса.

Ответ:

Пример
Описание

	Array of objects (Model) [ items ]
object	string Тип сущности в ответе, например, список.

{"data": [{"model": {"id": "GigaChat:v1.2.19.2",
"object": "model",
"owned_by": "salutedevices"
}
}
],
"object": "list"
}

	Array of objects (Model) [ items ]
object	string Тип сущности в ответе, например, список.

{"data": [{"model": {"id": "GigaChat:v1.2.19.2",
"object": "model",
"owned_by": "salutedevices"
}
}
],
"object": "list"
}

Получить модель

Возвращает объект с описанием указанной модели.

Параметры запроса:

model

string

Название модели.

{"model": "GigaChat:v1.2.19.2"
}

Ответ:

Пример
Описание

object

{"model": {"id": "GigaChat:v1.2.19.2",
"object": "model",
"owned_by": "salutedevices"
}
}

object

{"model": {"id": "GigaChat:v1.2.19.2",
"object": "model",
"owned_by": "salutedevices"
}
}

Получить ответ модели

Возвращает ответ модели с учетом переданных сообщений.

Параметры запроса:

model required	string Название модели, от которой нужно получить ответ. Для выбора последней актуальной модели используйте `GigaChat:latest`.
required	Array of objects (Messages) [ items ] Массив сообщений. Передайте несколько прошлых сообщений, чтобы сервис учитывал историю чата. Подробнее читайте в разделе Работа с историей чата.
	object Параметры чата

{"model": "GigaChat:latest",
"messages": [{"role": "user",
"content": "Привет! Как думаешь, когда мы выпустим GigaChat?"
}
],
"options": {"temperature": 1.2,
"top_p": 0.2,
"n": 2,
"stream": true,
"max_tokens": 1000,
"repetition_penalty": 1,
"update_interval": 1
}
}

Ответ:

Пример
Описание

	Array of objects (Choices) [ items ] Массив ответов модели.
timestamp	integer <int64> Дата и время создания ответа в формате Unix time.
model_info	string Название модели, которая вернула ответ.
	object (Usage) Данные об использовании модели.

{"alternatives": [{"message": {"role": "assistant",
"content": "Конечно, у человечества всегда есть возможность развивать науку и технологии, чтобы улучшить качество жизни и справиться с вызовами, стоящими перед нами. Важно продолжать исследования в области искусственного интеллекта, создавать новые методы и подходы к его использованию, а также разрабатывать этические принципы и нормы, которые помогут нам принимать решения, основанные на данных и знаниях, а не на эмоциях или предрассудках."
},
"index": 0,
"finish_reason": "stop"
}
],
"timestamp": 1678878333,
"model_info": "GigaChat:latest",
"usage": {"prompt_tokens": 18,
"completion_tokens": 68,
"total_tokens": 86
}
}

	Array of objects (Choices) [ items ] Массив ответов модели.
timestamp	integer <int64> Дата и время создания ответа в формате Unix time.
model_info	string Название модели, которая вернула ответ.
	object (Usage) Данные об использовании модели.

{"alternatives": [{"message": {"role": "assistant",
"content": "Конечно, у человечества всегда есть возможность развивать науку и технологии, чтобы улучшить качество жизни и справиться с вызовами, стоящими перед нами. Важно продолжать исследования в области искусственного интеллекта, создавать новые методы и подходы к его использованию, а также разрабатывать этические принципы и нормы, которые помогут нам принимать решения, основанные на данных и знаниях, а не на эмоциях или предрассудках."
},
"index": 0,
"finish_reason": "stop"
}
],
"timestamp": 1678878333,
"model_info": "GigaChat:latest",
"usage": {"prompt_tokens": 18,
"completion_tokens": 68,
"total_tokens": 86
}
}

Ошибки

Ошибка	Описание
`400`	Ошибка в параметрах запроса
`401`	Отсутствует токен доступа или истекло время действия токена
`404`	Не найдена модель
`405`	Ошибка при вводе
`413`	Превышен максимальный размер входных данных
`500`	Внутренняя ошибка сервиса

gRPC API

Авторизация﻿

Описание методов﻿

Получить список моделей﻿

Получить модель﻿

Получить ответ модели﻿

Ошибки﻿

Авторизация

Описание методов

Получить список моделей

Получить модель

Получить ответ модели

Ошибки