ML-разработка

Ещё в XVII веке известный математик Г.В. Лейбниц полагал, что любую мысль человека можно представить математическими формулами и элементарными символами. Идея наделить человеческим интеллектом неодушевлённые предметы прослеживалась в древней мифологии, в средневековой литературе. С развитием компьютерных технологий разработка искусственного интеллекта стала одним из самых активных направлений математической науки.

В середине XX века шла активная работа над обучением компьютеров. Долгое время это было прерогативой научных центров и институтов.

В последнее десятилетие технология вышла на новый уровень. Применять систему смогли разработчики всего мира не только в научных целях, но и для решения современных задач производства, продвижения, маркетинга, развлечения.

Что такое Machine Learning

Процессы машинного обучения называются также общим английским термином Machine Learning. Его суть — в передаче компьютерам определённых знаний и алгоритмов их анализа, на основе которых машина может:

• обучаться;
• выявлять закономерности;
• накапливать опыт для решения задач;
• строить прогнозы;
• собирать аналитические, статистические данные.

Технология позволяет обрабатывать данные и выполнять различные операции без инструкций программиста.

Итог Machine Learning — определённая модель, которая при правильно введённых параметрах способна решать задачи на уровне, близком к человеческому.

В отличие от образного человеческого представления, модели анализируют данные по конкретным признакам. Например, человек воспринимает образ перед ним в целом, он просто знает, что видит кошку, собаку, мышь или другое животное. Компьютер сделает вывод по длине хвоста, шерсти на ушах, размеру лап и так далее.

Потребность в машинном обучении

Machine Learning — это давно больше, чем виртуальный соперник по игре в шашки и шахматы. Например, когда компьютер проверяет тексты на грамматические ошибки, это воспринимается как нечто привычное. А стриминговые сервисы благодаря алгоритмам понимают предпочтения пользователей.

Чем больше в жизни человека удобства при решении задач, тем выше запрос на дальнейшую оптимизацию и цифровизацию. Для бизнеса создание моделей машинного обучения — способ автоматизировать производственную рутину и привлечь аудиторию. Разные типы алгоритмов позволяют, к примеру, сделать онлайн-игры ещё интереснее: система отследит поведение игрока и сформирует для него индивидуальное предложение.

Зачем и когда учить машины?

Способы машинного обучения делят на три общих типа:

• С учителем, или supervised learning. Цель — помочь компьютеру понять, почему процесс происходит именно так, выявить закономерности, последовательность действий в системе. Ответ известен заранее, поэтому алгоритм концентрируется на этапах его получения. Итоговая модель способна строить прогнозы.
• Без учителя, или unsupervised learning, — позволяет машине научиться самостоятельно выявлять закономерности при обработке массива загруженных данных. По выявленным закономерностям компьютер способен работать над задачами с новыми данными.
• C подкреплением, или reinforcement learning, — даёт машине возможность среди различных сценариев выбрать оптимальный. Иными словами, это метод проб и ошибок, при котором компьютер определяет последствия выбора и их связь с результатом.

Любой из способов приводит к разработке рабочего механизма, который оказывается в чём-то эффективнее человека:

• не устаёт, работает круглосуточно;
• совершает меньше ошибок;
• обрабатывает большие объёмы информации;
• оценивает данные непредвзято.

Это позволяет автоматизировать процессы, выявлять глубинные закономерности, оптимизировать работу сотрудников. Благодаря ML-разработке появилось огромное количество программ и сервисов, которые повышают качество жизни человека. Например, они помогают ориентироваться на местности, быстро находить любимые фильмы и музыку.

Сложные модели используются в промышленности, в сфере безопасности и различных крупных корпорациях. Благодаря разработкам происходит полная цифровая трансформация корпоративной культуры и делового взаимодействия в компании. К примеру, алгоритм может автоматически собирать, систематизировать, анализировать данные с датчиков оборудования на крупном производстве, а затем формировать отчёт.

Машинное обучение: принципы и задачи

В компьютер загружаются исходные данные (датасет) с метками и подробными разъяснениями. Программа анализирует все алгоритмы и закономерности, запоминает соотношение меток и сведений о них — таким образом формируется нейронная сеть. На основе полученной базы система может делать выводы, давать ответы, сопоставлять данные и делать выбор.

Чем больше действий совершит компьютер с базовой информацией, тем точнее будет анализ в последующем. ML предполагает непрерывное обучение.

Основа Machine Learning — работа с тремя составляющими:

• Данными как отправной точкой процесса. С них сеть начинает обучение и ими же непрерывно пополняет свою базу знаний.
• Признаками, которые служат метками, по которым модель может получать необходимые результаты и решать задачи.
• Алгоритмами, или методами, в соответствии с которыми компьютер совершает каждое действие. Они определяют форму модели, скорость её работы, точность ответов.

Machine Learning характеризуется тремя признаками:

• Инновационность. ML становится точкой роста и новым этапом развития в любой экономической сфере.
• Специфичность. Машинное обучение — сугубо IT-направление. Разработкой и внедрением занимаются люди, которые понимают языки программирования и умеют работать с IT-инструментами.
• Простота. ML позволяет создавать продукты, понятные любому пользователю вне зависимости от возраста, уровня знаний и умения работать с программами.

С помощью разработок Machine Learning бизнес решает задачи разного типа:

• Кластеризация — распределение данных на типы, группы и другие категории по заданным критериям.
• Классификация — ответ на вопрос по категории, например, есть ли на фотографии красные предметы.
• Уменьшение размерности — перевод от большего к меньшему, сжатие информации для дальнейшей визуализации.
• Регрессия — прогнозирование по различным признакам объектов в выборке, к примеру, прогноз стоимости объекта недвижимости через заданный период.
• Выявление аномалий — анализ процессов, выделение среди них нетипичных.
• Идентификация — выделение из общего массива данных только необходимых. Яркий пример — идентификация лица определённого человека среди всех распознанных системой.
• Прогнозирование — анализ существующих процессов и основанное на нём предсказание показателей через заданное время. Таким образом можно оценивать предположительную эффективность выбранной компанией стратегии развития.

Благодаря многозадачности ML становится универсальным инструментом в любой сфере — экономической, финансовой, производственной, социальной и других.

Инструменты ML

Применяемые в Machine Learning технологии связаны с тремя общими этапами разработки:

• система собирает и обрабатывает данные;
• ведётся обучение на основе полученных данных, формируется обученная модель;
• оценивается качество работы модели и развёртывается ПО для её использования.

Для разработки моделей используют готовые фреймворки и библиотеки на разных языках программирования. Они позволят быстро начать работу с собранным датасетом, для точной обработки данных необходимо отфильтровать ненужные.

Кроме того, понадобятся инструменты для визуализации на разных этапах, она поможет выделить важные признаки, аномалии, линейные закономерности. Готовая модель должна пройти тестирование.

ML-разработка становится удобнее и доступнее, если все необходимые инструменты собраны на одной платформе. Продукт ML Space позволяет работать над моделями командой в едином пространстве.

Среди преимуществ решения:

• ML-разработка полного цикла на высокопроизводительной инфраструктуре с использованием мощностей суперкомпьютеров Christofari и Christofari Neo;
• командная работа на каждом этапе;
• более 1700 GPU для распределённого обучения и артефактов на маркетплейсах DataHub и AI Services;
• удобный интерфейс, множество встроенных популярных библиотек, утилит и других привычных инструментов с модулем Environments;
• Data Catalog для работы с ML-артефактами;
• инструмент для тестирования и развёртывания Deployments;
• сервисы автоматического построения моделей, обработки данных AutoML и Pipelines;
• доступ при разработке к предобученным моделям, датасетам и контейнерам в модуле DataHub.

Платформа учитывает специфику российского рынка, в том числе законодательство о защите персональных данных.

Практическое применение ML-технологий

Робототехника

Функциональность физических роботов может ограничиваться простыми действиями, основанными на контроллерах, датчиках, сенсорах. Самые простые образцы работают по строго заданным координатам, но этого не всегда достаточно. Иногда необходимо, чтобы робот мог решать более сложные задачи по выученным алгоритмам.

Machine Learning позволяет роботам:

• видеть и распознавать речь;
• определять заданные объекты;
• отслеживать перемещающиеся объекты;
• сегментировать содержимое видимой картинки;
• оценивать расстояния, обходить препятствия на пути;
• ориентироваться в пространстве;
• захватывать объекты, манипулировать ими;

Для реализации различных функций необходим большой объём вычислительного пространства и высокопроизводительные GPU.

Маркетинг

Алгоритмы разного типа позволяют маркетологам обрабатывать большие массивы данных, превращать их в знания, на основе которых строятся прогнозы и стратегии развития. Machine Learning даёт возможность сегментировать целевую аудиторию, прогнозировать поведение клиентов, корректировать действия в реальном времени.

Безопасность

Интеллектуальный анализ записей с камер видеонаблюдения помогает в режиме реального времени отслеживать различные физические угрозы. Крупные компании используют распознавание лиц сотрудников вместо традиционных пропусков, а системы умного города позволяют быстро искать преступников.

Модели эффективны в кибербезопасности. Компьютер обучается на базе предсказуемых действий, которые выполняются при определённом процессе в сети. Например, параметры работы сотрудников с корпоративной почтой будут иметь стабильный характер — одинаковое время открытия и закрытия, фиксированные действия, привязка к устройствам и локации.

Любые отклонения воспринимаются как угроза, о которой система проинформирует пользователя.

Финансовый сектор и страхование

Один из ярких примеров применения методов Machine Learning в банковском секторе — автоматическая оценка кредитного потенциала заявителя. В страховании интеллектуальный анализ позволяет оценить степень страховых рисков по направлениям. На рынке ценных бумаг разработки ML позволяют прогнозировать рост или падение акций по результатам анализа финансовых новостей и текущих торгов.

Общественное питание

Насущный вопрос сферы общепита — контроль производственных процессов, обслуживания клиентов. Компьютерное зрение как область Machine Learning способно анализировать окружающее пространство, распознавать объекты, действия, перемещения.

Система сможет определить, есть ли на сотрудниках перчатки, головные уборы, верно ли упакован заказ. Это позволит выявить слабые места, провести дополнительное обучение, продумать новые маркетинговые ходы.

Медицина

Интеллектуальный анализ способен упростить работу врача. На основе оцифрованных результатов различных обследований и анализов модель сможет дать предварительную оценку состояния здоровья пациента, определит вектор дальнейшего поиска проблем.

Добыча полезных ископаемых

Машинное зрение упрощает процессы в горнодобывающей промышленности. Так, на стадии дробления руды до более мелких фракций система может отслеживать в идущих по конвейеру обломках слишком крупные либо инородные предметы. Она подаст сигнал оператору или вовсе остановит процесс, чтобы не дать элементам неподходящего размера и состава застрять в оборудовании. Аналогичным образом отслеживается целостность конвейерных лент.

ML-модели — новый этап цифровизации бизнеса и жизни человека. Работа с Big Data стала проще, а доступ к технологии получили новые пользователи. Единая платформа для ML-разработки ML Space позволяет создавать собственные персонализированные модели для внедрения в бизнес-процессы.