Для тонкой настройки ответов GigaChat и поиска по документам используйте настройки GigaChat.
Настройте модель точнее и повысьте качество работы вашего чат-бота с помощью дополнительных параметров, которые влияют на результат генерации запросов к нейросети. Эти параметры помогают управлять поведением модели и получать нужный результат, будь то точное следование правилам, креативная генерация или что-то среднее.
Такая настройка модели позволяет управлять временем генерации. Например, чем ниже модель, тем быстрее генерация ответа и меньше его лимит, вариативность ответа и качество, чем выше модель, тем «умнее» ее ответы.
| Параметр | Описание |
|---|---|
| Модель GigaChat (model) | Выберите модель из списка доступных. Описание доступных моделей смотрите в разделе Модели GigaChat |
| Температура выборки (temperature) | Температура контролирует степень случайности выбора слов. При низкой температуре модель будет более предсказуемой и консервативной, выбирая наиболее вероятные слова. Высокая температура увеличивает разнообразие ответов, но может привести к менее связным текстам. Значение параметра должно быть не меньше 0, например, в диапазоне от 0 до 2. Чем выше значение, тем более случайным будет ответ модели. При значении параметра больше 2, набор токенов в ответе модели может отличаться избыточной случайностью, ответ в этом случае будет более бессмысленным. Значение по умолчанию зависит от выбранной модели (поле model) и может изменяться с обновлениями модели |
| Лимит токенов для ответа (maxTokens) | Максимальное количество токенов, которые будут использованы для создания ответов. Потребление GigaChat API считается в токенах. Токен может быть символом, несколькими символами, фрагментом слова или словом целиком. В среднем в одном токене 3—4 символа, включая пробелы, знаки препинания и специальные символы |
| Количество повторений слов (repetitionPenalty) | Настройка повторов слов в ответе. Значение параметра должно быть не меньше 0, например, в диапазоне от 0 до 2. Значение по умолчанию зависит от выбранной модели (поле model) и может изменяться с обновлениями модели. При значении больше 1 модель будет стараться не повторять слова, при значениях 0 до 1 модель будет повторять уже использованные слова. Значение 1.0 — нейтральное значение, оптимальное для работы |
| Вероятностная масса токенов (topP) | Вероятностная масса токенов, которые должна учитывать модель. Возможные значения: больше или равно 0 и меньше или равно 1. Параметр используется как альтернатива температуре (поле temperature). Задает вероятностную массу токенов, которые должна учитывать модель. Так, если передать значение 0.1, модель будет учитывать только токены, чья вероятностная масса входит в верхние 10% |
| Отключить фильтр безопасности | Если фильтр отключен, GigaChat отреагирует на запрос на подозрительную тему или заданный ненормативной лексикой и прекратит общение. В некоторых случаях бывает нужно отключить фильтр безопасности, например, когда GigaChat ошибочно цензурирует корректные для вашего кейса запросы. Возможность настройки и отключения фильтра безопасности доступна для пользователей ИП или ЮЛ, которые имеют в проекте персональные ключи GigaChat |
Обратите внимание: настройка фильтра безопасности будет работать только при согласовании доступа на стороне GigaChat. Переключатель управления фильтром будет доступен после получения доступа. Разрешения на отключения фильтра выдаются на персональные ключи пользователя.
Настройка параметров модели доступна в настройках документов базы знаний, блоков Генерация ответа и AI-Ответ из базы знаний.
Если дополнительные параметры мо дели не заданы в запросе, будут использованы параметры модели, установленные в проекте.