СофтМедиаЛаб вывела на рынок систему безопасности ИИ

СофтМедиаЛаб представила КиберАгентРевью для контроля ИИ-агентов. Решение выявляет отклонения, предотвращает утечки и расследует аномалии в корпоративной среде

Безопасность ИИ и ИИ-агентов
Источник изображения: Freepik.com

КиберАгентРевью (CyberAgentReview) — система безопасности и контроля ИИ-агентов в реальном времени. В основе — мониторинг и аудит действий агентов с учетом контекста их работы. Это позволяет обеспечивать безопасность ИИ в корпоративной среде: выявлять отклонения от поставленных целей, предотвращать утечки данных и расследовать аномалии в сценариях.

Технически решение реализовано в виде локального прокси-сервиса на рабочих станциях и выступает единым шлюзом к большим языковым моделям (LLM), обеспечивая защиту LLM без изменения пользовательских инструментов. В централизованном дашборде можно полностью отследить: какой агент, какие данные и куда отправил. Также доступны функции автоматического обнаружения утечек, контроля аномалий и настройки оповещений.

В планах развития — расширение механизмов поведенческого анализа и защиты ИИ-агентов. Система будет сопоставлять вызовы инструментов с исходной задачей и уточнениями пользователя, выявлять отклонения (в том числе вызванные промпт-инъекциями) и обеспечивать защиту от промпт-инъекций за счет автоматического прерывания выполнения операций, не допуская распространения вреда в случае сбоя. 

Актуальность таких решений подтверждают аналитики. В 2026 году Gartner назвал безопасность ИИ-агентов и контроль над ними одним из ключевых трендов кибербезопасности. При этом отмечается критическая проблема: традиционные системы управления доступом (IAM) оказались не готовы к появлению новых видов угроз от ИИ-агентов. 

Автономные системы не только генерируют текст, но и выполняют действия: обращаются к API, изменяют данные, запускают процессы. Они внедряются в бизнес быстрее, чем выстраиваются меры защиты.

Особая угроза ИИ-агенты, которые одновременно имеют доступ к приватным данным, внешнему контенту и инструментам передачи информации. В таких сценариях злоумышленник может внедрить скрытые команды в документ или письмо, после чего агент самостоятельно соберет и отправит конфиденциальные данные.

Максим Горшков, технический директор СофтМедиаЛаб:
«Традиционные средства безопасности не предотвращают атаки, при которых легитимный ИИ-агент начинает действовать с измененной целью. КиберАгентРевью  позволяет компаниям выстраивать практику обеспечения безопасности ИИ, выявлять такие отклонения и снижать риски при использовании автономных систем, обеспечивая контроль их действий и соответствие регуляторным требованиям, включая защиту персональных данных и объектов критической информационной инфраструктуры».

Выбор редакции

Публикации, которые получают больше внимания и попадают в Сюжеты РБК

Рекомендации партнеров:

Данные о правообладателе фото и видеоматериалов взяты с сайта «РБК Компании», подробнее в Условиях использования
Анализ
×
Горшков Максим