Эволюция развития платформы видео и аудио аналитики, прогнозных и рекомендательных систем для автоматизации производств до промышленного интернета вещей (IIoT)
На протяжение почти десяти лет наша компания разрабатывает и внедряет решения на базе машинного обучения, компьютерного зрения, обработки естественных языков (языковых моделей) и анализа данных автоматизации и оптимизации различных процессов для таких индустрий, как промышленные и энергетические предприятия, агросектор, пищевая промышленность, логистика, ретейл, horeca и другие. Такие системы решают целый класс самых разнообразных задач, позволяющих существенно повысить качество продукции, уменьшить риски и издержки, снизить расходы и зависимость от человека. Среди них выделим системы промышленной безопасности, системы выявления брака и дефектов, автоматизация конвейерных процессов и производственной линии, а также различные системы прогнозирования поломок и наработки на отказ, оттока клиентов и конверсии продаж. В последние годы большую популярность получили системы, построенные на базе больших языковых моделей, позволяющие быстро находить нужную информацию, генерировать отчеты и документы, выявлять различные сущности из текстов и много другое.
Все такие системы работают, как отдельные сущности на базе данных, получаемых из определенных источников. Простейший пример — системы видеоаналитики анализируют видео потоки, получаемые с IP-камер, установленных на предприятии. Подобно множеству LLM — агентов каждая такая система решает свою задачу на основе получаемых данных и автоматизирует работу предприятия. Например, управляет конвейером, выдает предупреждающие сигналы в случае опасности или нарушений, формирует прогноз или рекомендации.
Отличием IIoT от традиционных автоматизированных систем является трансформация предприятий из изолированных самодостаточных систем, внутри которых реализованы все необходимые для производства товара или услуги бизнес-процессы, в единую платформу, которая работает со всевозможными типами данных: видео, аудио, потоковые данные, собираемые с различных датчиков и детекторов.
Создание единой платформы промышленного интернета вещей на базе множества отдельных компонент решающих свои задачи — одно из ключевых направлений компании на сегодняшний день.
Промышленный интернет вещей (Industrial Internet of Things — IIoT) — многоуровневая система, включающая различные детекторы, датчики и контроллеры, установленные на узлах и агрегатах промышленного объекта, средства передачи собираемых данных и их визуализации, мощные аналитические инструменты интерпретации получаемой информации и многие другие компоненты.
Принцип работы IIoT заключается в следующем: устанавливаются различные детекторы, датчики, сенсоры, контроллеры, узлы передачи данных на ключевые части промышленных объектов (оборудование, производственные цеха, линии сборки, конвейеры и т.д.), предназначенные для сбора потоковых данных по параметрам и характеристикам процессов, активностям, видам и режимам работ, аномалиям и поведению персонала. После чего осуществляется непосредственно сбор и анализ информации, которая впоследствии позволяет компании приобрести объективные и точные данные о состоянии предприятия.
Полученная информация может быть использована для предотвращения аварий и несчастных случаев, простоев и поломок оборудования, сокращения внепланового техобслуживания и сбоев в управлении цепочками поставок, тем самым позволяя предприятию функционировать более эффективно.
При обработке огромного массива неструктурированных данных их фильтрация и корректная интерпретация является ключевой задачей для предприятий. Особую значимость приобретает корректное представление информации в понятном пользователю виде. Разрабатываемая IIoT платформа предназначена для сбора, хранения, обработки и анализа данных, выявление различных событий, распознавания и анализа речи, работа с текстовой и визуальной информацией с помощью больших языковых моделей в реальном времени.
Базовые возможности платформы
1. Производственная безопасность
- Контроль запретных зон, нарушения границ, обнаружение посторонних объектов
- Контроль СИЗ (каски, маски, спецодежда, страховочный трос, очки, перчатки, и т.д.)
- Детекция возгораний и задымленности
2. Повышение производительности
- Контроль запретных зон, нарушения границ, обнаружение посторонних объектов
- Контроль СИЗ (каски, маски, спецодежда, страховочный трос, очки, перчатки, и т.д.)
- Детекция возгораний и задымленности
- Анализ времени нахождения объекта в зоне, нарушения границ зон, отсутствие на рабочем месте
- Оценка действий персонала, контроль выполнения задач, контроль занятости сотрудников
- Контроль соблюдения производственных процессов
3. Контроль качества
- Автоматическое выявление дефектов
- Мониторинг соответствия продукции установленным стандартам
- Контроль и обеспечение правильности сборки
4. Автоматизация производственной линии
- Подсчет и классификация объектов
- Выявление аномалий и инородных тел на конвейере
- Определение геометрических характеристик, формы и цвета объектов
5. Аудиоаналитика
- Транскрибация аудио
- Выявление ключевых слов, тегов фраз и скриптов в тексте
- Выделение отдельных спикеров
- Идентификация по голосу
- Адаптация к условиям записи и характеристикам устройства
6. Анализ текста
- Поиск и сравнение с информацией в базе данных
- Проверка полноты информации для различных типов документов
- Использование всех возможностей языковых моделей (LLM) для анализа текста
7. Прогнозная аналитика и анализ временных рядов
- Анализ табличных данных и временных рядов, собираемых с различных датчиков предприятия
- Выявление аномалий в данных
- Прогнозирования, выявление трендов
8. Автоматическое добавление новых моделей
- Встроенные инструменты разметки и автоматического дообучения и добавления новых моделей и детекторов
Интеграция платформы
Важнейшей частью IIoT платформы является возможность интеграции со внутренними системами и сегментами сети предприятия, корпоративной инфраструктурой данных (EDP), производственным оборудованием и агрегатами, а также гибкой настройкой различных нотификаций, сигналов и извещений. Среди поддерживаемых протоколов отметим, в первую очередь REST API, gRPC, WebSocket, AMQP, MQTT, Modbus, интеграцию с такими системами, как 1C, ЕБС/КБС (для биометрической идентификации), LDAP, Microsoft Active Directory, также всевозможными способами нотификаций: telergam, SMS, Email, Push уведомления и т.д.
Компоненты платформы промышленного интернета вещей
Ключевой компонентой любой промышленной IoT платформы является набор всевозможных датчиков, детекторов, меток и узлов позиционирования для сбора данных. Среди них могут быть, как стандартные IP-камеры, лидары, звукозаписывающие устройства, так и нагрудные видео регистраторы, нательные датчики. Кроме того большое количество данных собирается со специализированных устройств, собирающих телеметрию с работающего оборудования. В некоторых случаях могут использоваться специальные контроллеры, которые подключаются к оборудованию внешним образом (без вторжения в изначальную конструкцию), считывают данные по токам и напряжениям, анализируют и выявляют аномалии методами машинного обучения. Такие технологии называются сигнатурным анализом. Наиболее распространенные устройства для сбора и оперативного анализа данных:
- IP-камеры и купольные камеры
- Видео регистраторы
- Аудио записывающие устройства
- Одноплатные компьютеры
- Компактные TPU-сервера
- Умные каски
Популярные кейсы
Рассмотрим самые популярные кейсы использования IIoT платформы для различных индустрий и отраслей.
Металлургия, нефть, газ
- Оценка действий персонала, контроль выполнения задач, контроль занятости сотрудников
- Оптимизация технологических режимов работы оборудования
- Контроль соблюдения производственных процессов
- Мониторинг обслуживания и ремонтных работ
- Мониторинг соответствия продукции установленным стандартам
- Охрана труда и промышленная безопасность
Промышленное производство
- Контроль соблюдения производственных процессов
- Контроль запретных зон, нарушения границ, обнаружение посторонних объектов
- Контроль СИЗ (каски, маски, cпецодежда, страховочный трос, очки, перчатки, и т.д.)
- Детекция возгораний и задымленности
Строительство
- Контроль исполнения работ и оборудования
- Аналитика эффективности работы персонала
- Защита периметра стройплощадки от несанкционированного проникновения посторонних лиц
- Контроль соблюдения сроков строительства (на основании BIM-моделей)
Энергетика
- Контроль корректности применения СИЗ
- Контроль работы в группе
- Идентификация активности
- Предотвращение случайного вскрытия сборки под
напряжением - Контроль показателей здоровья
- Контроль отсутствия посторонних
Ритейл
- Анализ и подсчет очередей
- Мониторинг мошенничества
- Контроль в зонах касс самообслуживания
- Сегментация и анализ поведения покупателей
- Оценка эффективности работы персонала
Складская логистика
- Контроль перемещения персонала и техники
- Оптимизация маршрутов движения техники (погрузчиков, тележек)
- Информирование водителя о близости человека
- Предотвращение столкновений, контроль скорости, выезд за пределы зон
- Контроль эффективности погрузок
- Промышленная безопасность
Транспорт
- Автоматизированные пропускные системы, контроль транспорта
- Реализация сценариев безопасности
- Координация участников движения
- Прогнозирование ДТП
Подводя итоги, с уверенностью можно выделить целый ряд важнейших преимуществ внедрения IIoT:
Решение нового класса производственных задач
Технологии машинного обучения, компьютерного зрения и анализа данных позволяют решать новый класс задач с минимальными ресурсами и затратами на построение сложных моделей.
Реальный экономический эффект
Мониторинг работ на промышленных объектах, основанный на платформе промышленного интернета вещей, позволяет получить гарантированный рост продуктивности, снижение потерь и затрат.
Снижение зависимости от человека, отсутствие ручного труда, полностью автоматическая работа
Архитектура платформы, рассчитанная на полностью автоматическую работу без ручного ввода, сокращает затраты на внедрение и обслуживание.
Максимально точный учет отраслевой специфики
Комбинирование различных источников данных, а также технологий их обработки позволяет конфигурировать решения под отраслевую специфику.
Внедрение системы
Внедрение практически любой системы автоматизации (от классических платформ видеоаналитики, прогнозных и рекомендательных систем до полноценных IIoT) начинается с формирования требований и задач, которые должна решать система. Ключевым элементом успешности внедрения является наличие и качество необходимых данных. Поэтому, как правило любой проект по внедрению систем такого класса делится на этапы и начинается с первого (пилотного) этапа. Пилотный этап сводится к решению локального перечня задач для определенных локаций на базе собранного набора данных. По итогам проведения пилотного этапа анализируются результаты и делается вывод о перспективах масштабирования. Результатом пилотного этапа является полноценное внедрения прототипа системы для ограниченного использования, формируются новые требования к сбору дополнительных данных.
Результатом внедрения автоматизированной платформы является полноценная цифровизация предприятия — преобразования традиционных производственных процессов в цифровые, управляемые с помощью «умных» систем.
В первую очередь направлена на повышение эффективности, гибкости и конкурентоспособности производства и решения ключевых задач, среди которых:
- Оптимизация производственных процессов — сокращение времени цикла, снижение затрат на техобслуживание, хранение материалов, потери в результате простоев.
- Гибкость производства — возможность быстро адаптироваться к изменениям спроса и рынка, производить индивидуальные изделия с такой же эффективностью, как и массовые.
- Снижение человеческого фактора — автоматизация минимизируют ошибки, связанные с человеческим участием, что улучшает качество продукции, снижает брак.
- Повышение безопасности — непрерывный мониторинг оборудования и условий труда снижает риск аварий и травм.
И, конечно, получение в режиме реального времени и любых срезах самой полной отчетности и состояния предприятия:
Формирование управленческой отчетности
Продуктивность бригад / подрядчиков: работа (вид работ)/ простой / потери
- Показатели продуктивности по участкам, филиалам
- Итоговая продуктивность работ: по дням, неделям, месяцам
- Эффективность применения спецтехники на различных объектах
- Инциденты: тип, количество, продолжительность
- Потери: технологические простои, потери на перемещения, отсутствие инструментов или материалов, не готовность спецтехники, длительные допуски к работам, выход из строя оснастки, несвоевременное обслуживание оборудования, низкая дисциплина
- Автоматический расчет показателей цехового уровня, в том числе по разным филиалам
- Визуализация положения спецтехники в ГИС
- Визуализация нахождения персонала на рабочих местах на 3D/2D схеме объекта
- Обновление показателей в реальном времени
- Пользовательская настройка отчетов и показателей
- Механизм подписки на отчеты для руководителей
- Настройка реагирования на события
- База знаний по событиям и лучшим практикам
Настоящий кейс является некоторым собирательным образом внедрения платформы для различных промышленных предприятий.