Работа в песочнице промптов
В личном кабинете Studio вы можете проверить, как ваши промпты работают с различными моделями и их параметрами. Это позволит отладить промпт перед его использованием в приложении.
Для отладки промптов используйте песочницу (раздел Playground), доступную в личном кабинете. Чтобы открыть песочницу:
- Авторизуйтесь в Studio.
- Откройте проект GigaChat API.
- В левой панели выберите раздел Playground.
Откроется интерфейс песочницы.
При работе с промптами в разделе Playground расходуются ваши токены.
Подготовка промпта
Чтобы подготовить промпт:
Нажмите кнопку Создать и укажите название промпта в поле Новый промпт
Понятное название поможет быстро найти промпт среди сохраненных в вашей библиотеке.
Укажите системный промпт. Для этого:
- Нажмите Задайте системные инструкции.
- В открывшемся поле укажите системный промпт.
- Нажмите Сохранить.
Системный промпт — описание поведения модели, которое она будет придерживаться при генерации ответов. Например, «Ты профессиональный переводчик на английский язык. Переведи точно сообщение пользователя.»
Если нужно отправьте несколько сообщений с разными ролями с помощью кнопки +. Модель будет учитывать предварительно переданные сообщения при генерации ответа.
Добавить несколько сообщений можно только до запуска диалога.
Добавление файлов
При генерации ответов модели могут использовать текстовые файлы и изображения.
Чтобы использовать файлы для генерации, предварительно загрузите их в хранилище с помощью кнопки Добавить файл.
Хранилище поддерживает текстовые документы форматов txt, doc, docx, pdf, а также изображения в форматах jpg, png, tiff и bmp. На размеры файлов действуют ограничения:
- максимальный размер одного текстового файла в запросе — 30 Мб;
- максимальный размер одного изображения в запросе — 15 Мб.
Чтобы добавить файл в контекст разговора:
- Нажмите кнопку Добавить файл, чтобы открыть хранилище файлов.
- Выберите нужный файл в списке.
- Нажмите Добавить.
В одном запросе можно передать до 10 изображений. При этом общий размер запроса должен быть меньше 20 Мб.
Например, ваш запрос может включать текст промпта и два изображения размерами 6 Мб и 12 Мб.
Настройка среды
В разделе Настройки вы можете подготовить среду, в которой должен работать промпт.
Для этого:
В блоке Основные, в раскрывающемся списке Стенд выберите версию стенда, к которому будут выполняться запросы.
На выбор доступны два вида стендов:
- Основной. При выборе этого стенда запросы будут передаваться в актуальные версии моделей.
- Ранний доступ. При выборе этого стенда запросы будут передаваться в версии моделей, которые работают в режиме раннего доступа.
В блоке Основные, в раскрывающемся списке Модель выберите модель, которая будет обрабатывать запросы.
Список моделей отличается в зависимости от выбранного стенда.
Подробное описание моделей — в разделе Модели GigaChat.
В блоке Дополнительные задайте параметры выбранной модели.
В процессе настройки вы можете:
изменить температуру;
Чем выше значение температуры, тем более случайным будет ответ модели. При значении больше двух, набор токенов в ответе модели может отличаться избыточной случайностью.
Значение по умолчанию зависит от выбранной модели и может изменяться с обновлениями модели.
Задать параметр top_p;
Параметр используется как альтернатива температуре (поле
temperature). Задает вероятностную массу токенов, которые должна учитывать модель. Так, если передать значение 0.1, модель будет учитывать только токены, чья вероятностная масса входит в верхние 10%.Значение по умолчанию зависит от выбранной модели (поле
model) и может изменяться с обновлениями модели.Значение изменяется в диапазоне от 0 до 1 включительно.
ограничить максимальное число токенов в ответе модели;
отключить фильтр безопасности. Отключение фильтра позволит проверять запросы, которые содержат тематические ограничения. Использовать параметры могут только юридические лица. Более подробную информацию вы можете получить по почте.
Чтобы вернуть настройки по умолчанию нажмите Сбросить.
После запуска проверка промпта вы можете посмотреть расход токенов на отправленные сообщения и системный промпт. Для этого в блоке Основные нажмите кнопку Обновить рядом с полем Токены.
Проверка промпта
После создания промпта и подготовки среды, напишите сообщение для модели и нажмите Отправить и запустить (или Запустить, если вы подготовили историю сообщений при создании промпта).
После запуска модель вернет результат генерации с учетом системного промпта и переданной истории сообщений.
Если результат работы промпта вас устроил, вы можете сохранить его в библиотеке и просмотреть код запроса с промптом на одном из доступных языков: JavaScript, Python, Kotlin и Swift.
Вы можете в любой момент менять любые сообщения в диалоге с моделью. Для этого выберите сообщение, которое нужно изменить, нажмите кнопку Редактировать и укажите нужный текст.