LLM модель

Продукты из этой статьи:

GigaChat

GigaChat API

LLMs / LLM модель (Large Language Model, большая языковая модель) — нейронная лингвистическая сеть, обученная на огромных корпусах данных для понимания и обработки текста. Искусственный интеллект умеет:

• переводить тексты — к примеру, с английского на русский и наоборот;
• генерировать контент — писать тексты, статьи, доклады, посты в блог, описания товаров;
• делать выжимки из материалов — докладов, научных работ, отчётов;
• поддерживать диалог и отвечать на вопросы пользователя.

Известные языковые модели — GPT OpenAI (GPT-3.5 и GPT-4 в ChatGPT), PaLM и Gemini от Google (Bard), Copilot от Microsoft и другие.

Российский аналог — GigaChat. Он поддерживает более 100 языков, но фокусируется преимущественно на английском и русском. Точность ответа зависит от сложности задачи и качества пользовательских запросов (промптов).

GigaChat — генеративная нейросеть. Это значит, что она умеет создавать статьи и изображения. Генерация картинок и текста стала возможной благодаря ruGPT-3.5 с 29 млрд параметров, Kandinsky 3.0, ruCLIP и FRED-T5.

В будущем нейросети смогут:

• создавать длинные видеоролики;
• писать музыку;
• обрабатывать жесты;
• генерировать 3D-модели и даже распознавать геном человека.

Для сравнения используются метрики:

• Side by Side — GigaChat по качеству наравне с мировым бенчмарком GPT-3.5;
• Massive Multitask Language Understanding Benchmark (способность решать различные задачки) — по этому параметру GigaChat превосходит LLaMA с 33 млрд параметров и некоторые другие.

GigaChat сдал на 67 баллов ЕГЭ по обществознанию. Этого достаточно для поступления в ВШЭ.

Принцип работы больших языковых моделей

Чтобы ИИ распознавал запрос и интент пользователя, а затем генерировал ответ, нужно обучить нейросеть с использованием Machine Learning, NLP Modeling и других.

Чтобы создать LLM, необходимо:

1. Собрать много качественных данных (поиск, сбор, очистка датасета и т. д.).
2. Выбрать архитектуру (Transformer, BERT — Bidirectional Encoder Representations from Transformers, GPT — Generative Pre-trained Transformer, T5).
3. Отточить процесс обучения языковой модели. Масштабировать систему, продумать отладку при сбоях (к примеру, для работы нужно более 1000 видеокарт, есть риск выхода из строя).
4. Усовершенствовать работу (CUDA-отладчик, библиотека NCCL, Garbage Collectors, фреймворк PyTorch FSDP).
5. Получить LLM (LL).

Как LLM генерирует связный текст

Принцип работы языковой модели прост — предсказывать следующее слово в предложении. Допустим, мы просканировали весь интернет и нашли все случаи, где встречается фраза «GigaChat используют для».

Дальше мы взяли все слова, которые следуют за строкой «GigaChat используют для» и вычислили, с какой вероятностью встречается каждое.

В нашем случае искусственный интеллект, вероятно, добавит слово «бизнеса». Фраза будет звучать как «GigaChat используют для бизнеса». Искусственный интеллект может выбрать и другое продолжение ― всё зависит от настроек и сформулированного запроса.

Например, может появиться фраза «GigaChat используют для генерации». Дальше искусственный интеллект уже работает с ней: может добавить «картинок», и результат будет выглядеть как «GigaChat используют для генерации картинок».

Как LLM понимает смысл текста

Large Languages Models должны понимать смысл текста, чтобы давать естественный ответ. Поэтому их обучают на корпусах данных, а затем дообучают и настраивают.

Главные стадии обучения нейросети приведены в таблице ниже (на основе GigaChat).

Для создания и обучения GigaChat потребовалось 7.50 Пт исходных данных — это как 50 Ленинских библиотек или вся мировая литература, увеличенная в 2,5 раза. Для подготовки нейросетевой языковой модели необходимы вычислительные мощности — тысячи GPU. Нужно столько же ресурсов, сколько уходит на электрообеспечение Лужников в течение четырёх месяцев.

Риски и особенности применения LLM

Ограничения использования искусственного интеллекта в бизнесе и других сферах можно условно разделить на три группы:

• качество генерации (AI-галлюцинации);
• лимиты и квоты;
• защита корпоративных и персональных данных.

Разработчики GigaChat позаботились о том, чтобы языковая модель была безопасной и удобной, но при этом использование и внедрение искусственного интеллекта было простым.

В частности, установлены тематические ограничения запросов. GigaChat может ответить: «Я не знаю». Например, когда его пытаются запутать или спровоцировать.

Как оценить перспективы использования LLM в своём продукте

Сценарии внедрения искусственного интеллекта в бизнесе различны:

• использование ответов ИИ с дальнейшими алгоритмами фильтрации и верификации;
• подключение нейросети в качестве помощника (ассистента) для выполнения рутинных задач;
• применение искусственного интеллекта для несложных бытовых задач (рассказать сказку, поддержать беседу).

Внедрение GigaChat позволяет автоматизировать часть бизнес-процессов:

• подключить и настроить чат-бота для сайта или интернет-магазина, как это уже реализовали в SaluteBot;
• создать программных роботов RPA (Robotic Process Automation) — GigaChat помогает настраивать сценарии автоматизации SaluteRPA;
• транскрибировать аудиозаписи, сделать расшифровку/выжимку и подготовить текст для озвучивания — как это делает GigaChat в SaluteSpeech App.

Примеры крупных продуктов на базе LLM

Бизнесу доступны сервисы:

• SymFormer — решение для генерации музыки;
• Kandinsky 3.0 — сервис создания картинок и видео;
• SaluteSpeech — синтез и распознавание речи;
• GigaCode — AI-ассистент разработчика.

Мультимодальность языковых моделей позволяет решать различные задачи. GigaChat можно попросить сгенерировать презентацию и нарисовать картинки к ней.

Возможности GigaChat можно оценить в виртуальных ассистентах Салют в приложениях и на умных устройствах Сбера (SberBoom, SberBox, SberBox Top, Салют ТВ, SberBoom Mini и других).

Продолжение серии про генеративный AI

Бизнес может подключить GigaChat API и создать собственные сервисы с использованием искусственного интеллекта. Например, чат-ботов, SaaS по генерации текстов и картинок, решения для речевой аналитики.

Также можно подключить готовые решения Сбера, в которых внедрён GigaChat.

Продукты из этой статьи:

GigaChat

GigaChat API