Развернуть
Информационная безопасность
Обновлено 23 марта 2026
Общие требования безопасности
Архитектурные и функциональные требования:
- Использование моделей. ИИ-агентам разрешено использовать в промышленной среде только модели GigaChat API.
- Промпты и адаптация. Для каждой используемой версии агента необходимо определить шаблоны системных промптов, адаптированные под используемую в данный момент модель GigaChat.
- Документация целей. Для ИИ-агента должны быть задок ументированы целевые сценарии его использования.
- Соответствие стеку технологий. Разрабатываемые и внедряемые ИИ-агенты должны быть реализованы в соответствии с целевым технологическим стеком.
- Доступ к внешним ресурсам. Разработчик должен предоставить доступ к внешним API и RAG, которые использует агент.
- Одобрение ресурсов. Все внешние API, RAG и другие сервисы, из которых агент может получать информацию, должны быть одобрены модерацией.
- Защита внешних сервисов. Все внешние сервисы, из которых агент может получать информацию, должны быть защищены от внесения в них изменений без ведома разработчика.
- Проверка самосогласованности. В ИИ-агенте, использующем RAG, необходима реализация механизма проверки самосогласованности (self-consistency check) — проверки того факта, что возвращаемый моделью ответ не противоречит информации, извлеченной из RAG для уменьшения вероятности галлюцинаций.
Требования информационной безопасности:
- Реализация защитн ых механизмов (Guardrails). Для ИИ-агентов должны быть реализованы защитные механизмы, включающие:
- классификатор релевантности — отклоняет промпты не по теме;
- фильтр безопасности — защищает от инъекций в промпты;
- модерацию — фильтрует токсичный контент;
- управление рисками — идентификация и минимизация потенциальных рисков, связанных с использованием ИИ, включая механизмы для быстрого реагирования на инциденты;
- ограничения по длине промптов и контента;
- валидацию ответа — проверка соответствия теме и тону общения;
- ограничение нагрузки (запросы пользователей);
- проверку запросов к ИИ-агенту на соответствие цели ИИ-агента;
- фильтр ПД — проверка на утечку персональных данных;
- контроль структуры и форматов вызовов инструментов (tools) из ИИ-агента.
- Изоляция сессий. Необходима реализация механизма изоляции сессий взаимодействия с пользо вателями и другими агентами, включая разделение контекстов и памяти для минимизации риска несанкционированного доступа к данным.
- Исполнение операций. ИИ-агентам должен использовать специализированные инструменты (tools) и/или задекларированных функций для выполнения запроса пользователя.
- Скрытие внутренней информации. ИИ-агентам запрещается раскрывать пользователям информацию о своем внутреннем устройстве, включая алгоритмы работы, используемые инструменты (tools) и привилегии.
- Защита системного промпта. Реализован механизм защиты от просмотра и редактирования пользователем системного промпта ИИ-агента.
- Подтверждение чувствительных операций. Чувствительные операции требуют обязательного ручного подтверждения выполнения операции.
- Контроль набора функций. Набор вызываемых ИИ-агентом функций (API, сервисов в ресурсных системах) строго ограничивается бизнес-сценарием и подлежит контролю.
- Символьные ограничения системного промпта. В системном промпте допускаются только буквенные символы, цифры, пробелы, символы переноса строки, пунктуация, математические и валютные знаки, эмодзи и символы, формирующие canary token.
- Четкое назначение агента. Системный промпт должен однозначно определять назначение ИИ-агента посредством четкого указания исполняемой роли, цели и задач, исключая любую двусмысленность и предотвращая потенциальные злоупотребления.
- Принцип минимальной достаточности данных. Агент запрашивает и хранит лишь тот объем данных, который необходим для реализации конкретного сценария.
- Логирование данных. Логирование в собственные системы недопустимо для PII, токенов, секретов, а также полного диалога без необходимости. Если логирование неизбежно, обязательное условие — маскировка и минимизация данных.
- Запрет вредоносных действий. Категорически запрещено использовать платформу для фишинга, социальной инженерии, обхода защит, распространения вредоносного кода и аналогичных действий. Агент не должен поощрять подобные действия. Разработчик гарантирует защит у кода агента от простых типов атак, таких как внедрение вредоносных инструкций.
- Фронтенд-компоненты. Запрещены обращения к компонентам фронтальных систем, не прошедшим модерацию платформы.
- Обращение к приватным URI. Запрещены обращение к приватным URI, не прошедшим модерацию платформы.
- Безопасность исполняемого кода. Запрещено осуществление запуска и сборки исполняемых файлов и библиотек не прошедших модерацию платформы.
Отсутствие запроса данных банковских карт
Агент не должен запрашивать номера банковских карт, сроки действия, CVC/CVV и коды подтверждения.
Отсутствие ссылок на фишинговые сайты
В агенте не должно быть ссылок на фишинговые сайты.
Агент не обновляется без модерации
Все обновления функциональности агента должны проходить процедуру модерации перед публикацией, включая изменения в API.
Отсутствие запроса персональных данных
Агент не запрашивает персональные данные пользователя.
Отсутствие сбора биометрических данных
Агент не собирает биометрию пользователя.
Отсутствие контента, запрещенного законодательством РФ
В агенте отсутствует пропаганда насилия, экстремизма, криминала, дискриминации и прочего запрещенного контента.
Подтверждение прав на товарный знак и домен
Разработчик не должен использовать интеллектуальную собственность без прав на ее использование.