<>
Технический директор Bercut Алексей Чистяков рассказал, как превратить данные в деньги.
По словам спикера, процесс преобразования начинается даже не с технологий, а с мышления. Топ-менеджмент компании должен осознать, какие в целом данные имеются в организации, понять, какие именно данные могут принести бизнес-эффект, а дальше начать работу непосредственно с ними: каталогизировать, обновить архитектуру и инфраструктуру для обработки данных, оценить регуляторные риски, и самое главное — повысить уровень компетенции команд.
«Цифровое развитие организации можно уместить в циклический треугольник. Организация меняет некий процесс, процесс порождает данные, эффекты, данные меняют саму организацию, результаты ее деятельности. Дальше следующий цикл. Суть в том, чтобы проходить цикл максимально быстро или,хотя бы, быстрее конкурентов», —отмечает Алексей Чистяков.
Цифровое развитие организации можно уместить в циклический треугольник
Источник: презентация Bercut
Если в одних организациях такие циклы могут составлять по несколько лет, то у других этот счет может идти на недели. Компактность цикла определяет жизнеспособность, антихрупкость компании, а также определяет способность организации к самообучению.
В Bercut была разработана модель уровня зрелости бизнес-кейсов — Case Implementation Maturity Levels или CIML, которая уже показала практичность и легкость применения. Универсальная методика подходит для большинства отраслей: финтех, телеком, производство, логистика, госсектор, разработка ПО и других. В модели выделяется пять уровней зрелости, где A – максимальный, и F – минимальный.
Модель уровня зрелости бизнес-кейсов
Источник: презентация Bercut
На примере борьбы телеком-оператора со спамом спикер более подробно рассмотрел схему пошагово.
Уровень Fподразумевает, что в компании нет понимания процесса и понимания проблем, это уровень хаоса. На таком уровне компания не понимала, что у нее есть проблемы со спамом, несмотря на отдельные жалобы, — их количество не учитывалось систематически, поэтому масштаб проблемы не был оценен, а потери не измерялись. По итогу стало известно, что потери составляли 2-3% от оборота. В результате проблем терялась база абонентов, ухудшалась репутация оператора.
Уровень D— это формализация видимости. В рассматриваемом кейсе оператор формализовал процесс, осознал, что спам — это проблема, с которой нужно работать, началась блокировка спамеров в ручном режиме. Были созданы регламенты, политики, создано описание этого процесса, назначены ответственные, выстроена аналитика и оценка эффектов. Начался сбор жалоб и иных сигналов, которые приходили в объединенную базу данных, появилась соответствующая инфраструктура: база инцидентов, базовый BI на исторических данных, ручная аналитика. В результате проблема стала измеримой, время реакции на жалобы сократилось на 50%, но блокировка еще опаздывала.
Следующийуровень С– «Автоматизация». На этом уровне жалобы стали автоматизированными, при достижении порога жалоб бан спамера происходил автоматически. Отбор различных сигналов, не только по жалобам, также стал автоматическим, появились автоматические паттерны, по которым телеком-оператор производил блокировку. Появились первые point-to-point интеграции между разными системами, первые бизнес-правила.
Уровень С — Автоматизация
Источник: презентация Bercut
По итогу время реакции по блокировкам снизилось на 90%: с двух дней до двух часов. Автоматическая блокировка происходила в 80% случаев, потери удалось снизить на 15-20%. Еще одним эффектом стала экономия FTE (Full-Time Equivalent, полная занятость) для аналитиков, операторов и другого персонала.
Спикер отмечает, что достаточно большое количество компаний находится именно на уровне C, что, в принципе, считает достойным уровнем.
Уровень Bподразумевает интеграцию и связанность. В случае рассматриваемого кейса оператор начал отслеживать онлайн-сигналы из разных связанных систем: биллинг, CRM, сетевые данные, внешние партнерства с банками. Они стали формироваться в единый массив правил для автоматической блокировки. Появился реал-тайм, слой интеграции для блокировки при помощи Event Mesh. В компании появилась инфраструктура HIP, которая объединяет все доступные источники в массив правил, существенно увеличилось количество учитываемых сигналов, данные были перемещены в озеро, появился процесс оценки качества.
Уровень B: интеграция и связанность
Источник: презентация Bercut
В результате процесс создания новых правил по детекции спама сократился на 75%, а точность определения спама выросла до 95% и выше для отдельных случаев.
Тем не менее и для этого этапа имеются свои ограничения: необходимо постоянно наращивать паттерны и сигналы, усложнять алгоритмы, в то время как спамеры со своей стороны делают то же самое.
«Уровень A — это AI Intelligence или AI Intellect. AI-модель сама на этом уровне теперь блокирует спам-компанию и учится новым паттернам борьбы. То есть вчера аналитика выявляла эти паттерны, сегодня эти паттерны выявляет и предлагает аналитикам на рассмотрение AI-модель. Спамеры тоже учатся и тоже используют нейросети. Побеждает тот, у кого больше быстрых, надежных и дешевых данных»,-— рассказывает Алексей Чистяков.
Технический директор Bercut Алексей Чистяков
Фото: Bercut
На уровне Аоператор внедрил дата-фабрику из HIP, которая готовит данные для ML. ML обрабатывает поток в реальном времени, также в реальном времени детектирует спам, модель самообучается, происходит автоматическая оптимизация правил, MLOps управляет жизненным циклом моделей, модель работает на живом потоке данных.
Это дало эффекты снижения спама до 1% и меньше, автоматического обучения новым паттернам, адаптации к новым типам фрода и спама за часы вместо недель, и вишенкой на торте стал заработок на спаме.
Модель не просто блокировала спам, а перенаправляла спам с абонента, заставляя спамера звонить оператору и удерживать его на линии максимально долго. За счет этого оператор мог зарабатывать на входящем соединении, которое было платным для спамера.
Уровень A: AI/ML и оптимизация
Источник: презентация Bercut
Как правило, отмечает Алексей Чистяков, наибольшие сложности возникают при переходе с этапа С на этап B и выше.
Базовые технологии, которые используются на пути прохождения всех этапов, это общий контур управления данными, Hot Data – операционные потоки, как правило, интегрированные с ESB, это real-time синхронизация между системами, автоматизация операционных процессов, используется слой данных примерно за последние сутки, и Cold Data – данные для аналитики, для обучения тяжелых моделей. Это ETL, Data Fabrica. Пакетная загрузка отсюда осуществляется в Озеро данных от TData и Data Governance от той же компании, которые проверяют и управляют качеством данных, отслеживают их происхождение.
Резюмируя основные правила по реконвертации данных в бизнес-актив, Алексей Чистяков вывел несколько правил.
Первое правило — вести учет и каталогизацию своих данных, иметь хранилище для них, в идеале должен быть также единый сводный реестр метаданных. Важно понимать, какие данные есть, где хранятся, откуда данные приходят, кто владеет этими данными, какое у них качество.
Правила конвертации данных в актив
Источник: презентация Bercut
Второе правило — знать, каких данных не хватает. Для каждого кейса, который планируется реализовать, надо понимать, какие данные нужны для реализации, какие есть, какие отсутствуют, как получить недостающие.
Правило третье — иметь в беклоге хотя бы 3-4 актуальных кейса для пилотирования, которые будут не сложными (требуются только доступные данные), но могут дать быстрый эффект, а также выбрать оптимальный — тот, на который уже имеются ресурсы, возможности и компетенции для его реализации.
Правило четвертое — поступательное строительство фабрики данных, движение должно идти по уровням зрелости. Осознание проблемы, выстраивание первых интеграций, добавление интеграций со внешними системами, подключение Data Governance и обучение AI-шных моделей, самое важное на этом этапе — качество данных, поскольку эффект будет только в этом случае.
И наконец, необходимо измерять эффект и оценивать показатели ТСО/ROI.
Во второй части вебинара руководитель группы Delivery компании Bercut Сергей Сорокин наглядно продемонстрировал возможности решений ESB и Datamapper. Bercut ESB – это интеграционная шина, предоставляющая low-code и no-code инструменты для создания и сопровождения потоков, интеграционных потоков, которые осуществляют совокупность шагов по сквозной обработке данных, трансформации, маршрутизации.
Datamapper — это low-code инструмент, который позволяет преобразовывать и сопоставлять данные в различных форматах.
Сергей продемонстрировал три различных сценария: обработку горячих данных, обработку холодных данных и демонстрацию интеграционного потока, обеспечивающего трансформацию данных при помощи Datamapper.