Проксирование OpenAI-запросов
Утилита gpt2giga — это прокси-сервер, который перенаправляет запросы, отправленные в OpenAI API, в GigaChat API.
При старте утилиты запускается HTTP-сервер, адрес которого нужно использовать вместо адреса OpenAI API, заданного в вашем приложении (например, https://api.openai.com/v1/
).
Утилита обработает запрос и перенаправит его заданной модели GigaChat.
После получения ответа модели, она передаст его в приложение в формате OpenAI.
Утилита работает как с запросами на генерацию, так и с запросами на создание эмбеддингов (эндпоинты /embeddings
или /v1/embeddings
).
Общая схема работы gpt2giga:
Возможности gpt2giga
С помощью gpt2giga вы можете:
- использовать возможности моделей OpenAI и полностью заменить ChatGPT на GigaChat;
- вызывать функции через API, включая передачу и выполнение функций с аргументами;
- обрабатывать ответ модели в режиме потоковой генерации токенов с помощью параметра
stream=true
; - перенаправлять запросы на создание эмбеддингов (поддерживаются эндпоинты
/embeddings
и/v1/embeddings
); - работать в асинхронном режиме с множеством потоков запросов от нескольких клиентов;
- отображать подробные сведения о запросах и ответах при включенном verbose-режиме логирования;
- задавать параметры работы как с помощью аргументов командной строки, так и с помощью переменных окружения (
.env
).
Начало работы
Утилиту можно запустить как в контейнере, с помощью Docker, так и локально.
Запуск в Docker
Для запуска с помощью Docker:
-
В файле
docker-compose.yml
укажите ключ авторизации GigaChat API:environment:
- GIGACHAT_CREDENTIALS: <ключ_авторизации> -
Запустите контейнер с помощью Docker Compose:
# В зависимости от версии Docker используйте одну из команд
docker-compose up -d
# или
docker compose up -d