Распознавание изображений
Модели GigaChat умеют распознавать изображения и использовать их при генерации ответов. Для этого вы можете загрузить необходимые файлы изображений в хранилище и передать запрос с идентификатором файла в выбранную модель GigaChat. При генерации ответа, модель будет учитывать указанное изображение.
Работа с хранилищем файлов
Хранилище файлов позволяет получить идентификатор файла, который можно использовать при запросе к модели. Для работы с хранилищем GigaChat API предоставляет методы:
Загрузка файла в хранилище
Для загрузки файла в хранилище используйте метод POST /files
. Загруженные файлы будут доступны только вам.
Поддерживаемые форматы изображений:
Формат | MIME-тип |
---|---|
jpg | image/jpg |
png | image/png |
tiff | image/tiff |
bmp | image/bmp |
Максимальный размер одного файла — 15 Мб. Максимальный размер запроса — 20 Мб.
Чтобы модель использовала файл для генерации, укажите его идентификатор в массиве attachments
, в запросе на генерацию POST /chat/completions.
Пример запроса для загрузки файлов:
- cURL
- Python
curl --location --request POST 'https://gigachat.devices.sberbank.ru/api/v1/files' \
--header 'Authorization: Bearer access_token' \
--form 'file=@"<путь_к_файлу>/example.jpeg"' \
--form 'purpose="general"'
import requests
url = "https://gigachat.devices.sberbank.ru/api/v1/files"
payload = {'purpose': 'general'}
files=[
('file',('response.jpeg',open('<путь_к_файлу)>/example.jpeg','rb'),'image/jpeg'))
]
headers = {
'Authorization': 'Bearer access_token'
}
response = requests.request("POST", url, headers=headers, data=payload, files=files)
print(response.text)
В запросе обязательно нужно указать значение поля purpose="general"
.
Это позволит использовать файл в запросах на генерацию ответов.
В ответ вы получите объект с описанием файла:
{
"bytes": 120000,
"created_at": 1677610602,
"filename": "file123",
"id": "6f0b1291-c7f3-43c6-bb2e-9f3efb2dc98e",
"object": "file",
"purpose": "general",
"access_policy": "private"
}
Описание параметров — в справке API.
Получение информации о файлах
Для получения информации о доступных в хранилище файлах GigaChat API предоставляет два метода: GET /files
и GET /files/{file}
.
Для получения списка всех доступных вам файлов используйте метод GET /files
:
- cURL
- Python
curl -L -X GET 'https://gigachat.devices.sberbank.ru/api/v1/files' \
-H 'Accept: application/json' \
-H 'Authorization: Bearer access_token'
import requests
url = "https://gigachat.devices.sberbank.ru/api/v1/files"
payload={}
headers = {
'Accept': 'application/json',
'Authorization': 'Bearer access_token'
}
response = requests.request("GET", url, headers=headers, data=payload)
print(response.text)
Для получения информации об отдельном файле используйте метод GET /files/{file}
:
- cURL
- Python
curl -L -X GET 'https://gigachat.devices.sberbank.ru/api/v1/files/:file' \
-H 'Accept: application/json' \
-H 'Authorization: Bearer access_token'
import requests
url = "https://gigachat.devices.sberbank.ru/api/v1/files/:file"
payload={}
headers = {
'Accept': 'application/json',
'Authorization': 'Bearer access_token'
}
response = requests.request("GET", url, headers=headers, data=payload)
print(response.text)
Удаление файла из хранилища
Для удаления файла из хранилища используйте метод POST /files/{file}/delete
.
В параметрах пути укажите идентификатор файла, который был получен при его загрузке в хранилище:
- cURL
- Python
curl -L -X POST 'https://gigachat.devices.sberbank.ru/api/v1/files/:file/delete' \
-H 'Accept: application/json' \
-H 'Authorization: Bearer access_token'
import requests
url = "https://gigachat.devices.sberbank.ru/api/v1/files/:file/delete"
payload={}
headers = {
'Accept': 'application/json',
'Authorization': 'Bearer access_token'
}
response = requests.request("POST", url, headers=headers, data=payload)
print(response.text)
После удаления файл нельзя будет использовать для генерации.
Использование изображения для генерации
После загрузки файла в хранилище и получения его идентификатора, вы можете использовать его в запросах на генерацию.
Для этого передайте идентификаторы изображений, которые нужно использовать для генерации, в массиве attachments
.
В одном сообщении (объект в массиве messages
) можно передать только одно изображение.
В одном запросе можно передать до 10 изображений, независимо от количества сообщений.
- cURL
- Python
curl -L -X POST 'https://gigachat.devices.sberbank.ru/api/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Accept: application/json' \
-H 'Authorization: Bearer access_token' \
--data-raw '{
"model": "GigaChat",
"messages": [
{
"role": "user",
"content": "Что изображено на рисунке?",
"attachments": [
"80e0bcd5-2b78-4fa7-8783-903995f56b4b"
]
}
],
"stream": false,
"update_interval": 0
}'
import requests
import json
url = "https://gigachat.devices.sberbank.ru/api/v1/chat/completions"
payload = json.dumps({
"model": "GigaChat",
"messages": [
{
"role": "user",
"content": "Что изображено на рисунке?",
"attachments": [
"d41a9a52-1918-4c53-9158-df96986737ac"
]
}
],
"stream": False,
"update_interval": 0
})
headers = {
'Content-Type': 'application/json',
'Authorization': 'Bearer access_token'
}
response = requests.request("POST", url, headers=headers, data=payload)
print(response.text)
Тарификация изображений
При отправке изображений в GigaChat они преобразуются в токены. Количество токенов после преобразования зависит от размера и разрешения токенов. Максимальное количество токенов, которые могут быть потрачены на обработку изображения — 1792.
Токены оплачиваются в соответствии с тарифами GigaChat API.