Прокси-сервер gpt2giga
Gpt2Giga — прокси-сервер, который принимает запросы в формате API OpenAI, Anthropic и Gemini и передает их в GigaChat API. С его помощью вы сможете использовать GigaChat API в качестве бэкенда для клиентов (SDK, агентных фреймворков, редакторов кода), которые умеют работать с этими моделями. В основе Gpt2Giga лежит FastAPI.
В этом разделе вы найдете краткую информацию о запуске и развертывании прокси-сервера.
Подробная документация опубликована на GitHub Pages .
Область применения
При попытке использовать GigaChat API с популярными инструментами (например, OpenAI SDK) будут возникать проблемы, связанные с различиями в форматах сообщений, потоковых событий, описании функций и других параметров.
Gpt2Giga позволяет предотвратить эти проблемы:
- переводит сообщения OpenAI Chat Completions, OpenAI Responses, OpenAI Embeddings, Anthropic Messages и Gemini GenerateContent в формат GigaChat API;
- обеспечивает работу функциональности, которую поддерживает GigaChat API: вызов инструментов и функций, структурированный вывод, генерацию изображений, режим рассуждений и др.;
- безопасно обрабатывает необязательные поля SDK OpenAI и Anthropic, которые не поддерживает GigaChat API;
- перед отправкой запроса фильтрует транспортные заголовки SDK, API-ключи, cookie и другие метаданные;
- отделяет клиентскую авторизацию по API-ключу от учетных данных GigaChat;
- возвращает список моделей в формате, совместимом с OpenAI, Anthropic, Gemini и LiteLLM.
Подробнее о совместимости — в документации на GitHub .
Быстрый старт
Для работы с Gpt2Giga вам понадобится:
- для локального запуска:
- Python версии 3.10–3.14;
- менеджер проектов UV
- для запуска в контейнере — Docker с плагином Compose;
- Авторизационные данные GigaChat API.
Чтобы запустить прокси-сервер:
- Склонируйте репозиторий
Исходный код и подробные примеры работы с прокси сервером в репозитории на GitHub .
- Укажите данные для авториазации в переменных окружения.
Создайте
.envиз шаблона и укажите переменные окружения:cp .env.example .env - Запустите Gpt2Giga локально или в контейнере.
Установите Gpt2Giga с помощью менеджера пакетов uv и запустите:
uv tool install gpt2giga
gpt2gigaПо умолчанию прокси-сервер запускается по адресу
http://localhost:8090.Запуск с помощью Docker Compose:
docker compose --env-file .env -f deploy/base.yaml --profile DEV up -dПодробнее о работе с Docker — в документации на GitHub .
Пример простого запроса к GigaChat API с помощью SDK OpenAI и Anthropic.
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8090/v1", api_key="<GPT2GIGA_API_KEY>")
response = client.chat.completions.create(
model="GigaChat-2-Max",
messages=[{"role": "user", "content": "Привет"}],
)
print(response.choices[0].message.content)
from anthropic import Anthropic
client = Anthropic(base_url="http://localhost:8090", api_key="<GPT2GIGA_API_KEY>")
response = client.messages.create(
model="GigaChat-2-Max",
max_tokens=256,
messages=[{"role": "user", "content": "Привет"}],
)
print(response.content[0].text)
Подробнее — в документации на GitHub .