Векторное представление текста
Эмбеддинг (англ. embedding) — это вектор в виде массива чисел, который получается после преобразования текста языковой моделью. Полученный вектор можно использовать для измерения семантического сходства преобразованного текста. Комбинация чисел, составляющих вектор, действует как многомерная карта для измерения сходства.
Векторное представление текста (эмбеддинг) используется для:
- улучшения качества поиска — эмбеддинги позволяют оценивать сходство между текстовыми запросами на основе расстояния между соответствующими векторами. Это позволяет улучшить качество поиска и релевантность результатов;
- уменьшения размерности данных — с помощью эмбеддингов вы можете представить текстовые запросы в виде числовых векторов, что позволяет снизить размерность данных и ускорить их обработку;
- обеспечения универсальности — эмбеддинги можно использовать для различных задач обработки естественного языка, таких как Retrieval Augmented Generation (RAG), классификация текстов, кластеризация и других.
Для преобразования строк в эмбеддинги в GigaChat API есть метод POST /embeddings
.
Вы можете использовать одну из двух моделей: Embeddings или EmbeddingsGigaR.
Для выбора модели передайте ее название в поле model
.
Создание эмбеддингов оплачивается отдельно от генерации текста. Запросы тарифицируются одинаково, независимо от использованной модели.
Подробнее в разделе Тарифы и оплата.
- GigaChat API
- Python
- TS/JS
- Java
Пример запроса на создание эмбеддинга:
curl https://gigachat.devices.sberbank.ru/api/v1/embeddings \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <токен доступа>' \
--data '{
"model": "Embeddings",
"input": [
"Расскажи о современных технологиях",
"Какие новинки в мире IT?"
]
}'