На XXII Международном банковском форуме в Сочи признали: «Стремительное развитие ИИ несет в себе не только преимущества, но и риски — технические, этические, юридические и социальные»
По данным Натальи Касперской, модератора круглого стола «Высокие технологии — потенциал и риски», президента ГК InfoWatch, в 2024 году рынок страхования киберрисков достиг 3 млрд рублей, что является “копейками” по сравнению, например, с ОСАГО. Естественно, встает вопрос: «А может ли развитию этой сферы помочь ИИ?» Это, во-первых. И как быть с рисками, исходящими от самого ИИ? Можно ли застраховать и их?».
Наталья Касперская, ГК InfoWatch. Фото: скриншот трансляции
Лариса Митринская, директор по стратегическому развитию АНО «Цифровая экономика», не ушла от ответа: «О страховании киберрисков сегодня много говорят. Есть разговоры о введении обязательного страхования этого вида риска. Обсуждаются альтернативные варианты. Причиной тому являются те киберинциденты, которые все чаще и чаще возникают. Их рост оценивается в два раза за последний год. При этом степень использования ИИ при их осуществлении выросла на 70%».
Причины беспокойства
XXII Международный банковский форум зафиксировал, по крайней мере для финансового сектора, тот факт, что список источников угроз новых технологий значительно расширился и продолжает пополняться за счет очевидных и неочевидных рисков.
Лариса Митринская, АНО «Цифровая экономика». Фото: скриншот трансляции
Первым кандидатом на включение в него стал ИИ. Но не он один привлекает злоумышленников. Перспективными инструментами им представляются и квантовая криптография, и облачные вычисления, и многое другое. При этом все они используют комплексно, выставляя при этом на обозрение лишь ИИ. И как бизнесу минимизировать новые риски уже сегодня? Одно из самых очевидных решений — расширение инструментария страхования рисков.
А вот на вопрос, как по-настоящему привлечь страховщиков, нет очевидного ответа. И спрашивать об этом у искусственного интеллекта бесполезно. Зато естественный интеллект участников круглого стола, если и не решил полностью проблему, то обозначил ключевые риски, на управлении которыми необходимо сконцентрироваться в первую очередь.
Дополнительной интригой для участников круглого стола стало заявление Сергея Швецова, председателя наблюдательного совета Московской биржи, сделанное им накануне в ходе форсайт-сессия «Будущее отечественного финансового рынка». По его словам, «Яндекс», один из двух отечественных лидеров в области построения общего ИИ, постепенно сходит с дистанции. Это означает еще более глубокое погружение отечественных пользователей моделей в мир китайских интеллектуальных поделок, которые у нас лишь дообучаются.
Александр Долбнев, Yandex Cloud. Фото: скриншот трансляции
В ходе круглого стола Александр Долбнев, директор по работе с финансовым сектором Yandex Cloud, не стал акцентировать внимание на этой новости и заявил, что «не знает, кто об этом говорит». Зато пару слов сказал Андрей Грунин, заместитель директора Института искусственного интеллекта МГУ имени М.В. Ломоносова.
Андрей Грунин, МГУ. Фото: скриншот трансляции
По его данным, «Яндекс» оставил без изменений свою текущую модель b2b, но добавил к ней модель b2c на базе китайской Qwen, поскольку «так делают сейчас все».
Проблема «черного ящика»
Какие же риски кроме проблем с импортозамещением моделей выделили участники панели? Андрей Грунин как практикующий теоретик дал развернутый список фундаментальных угроз, с которыми нельзя ничего поделать, продолжая использовать существующую модель трансформеров, известную как GPT. При этом эксперт особо подчеркнул, что существующие ИИ и агентские системы он рассматривает лишь как очередной этап автоматизации бизнеса с присущими ей ограничениями, но реально повышающей производительность труда и создающей новые сервисы, например гиперперсонализацию сервисов, скоринг, управление рисками и антифрод в банковском секторе с помощью ИИ.
Во-первых, это неочевидный риск предвзятости, возникающий из-за особенностей данных при обучении. Например, в случае использования в скоринге подобной модели, она может предвзято относиться к каким-то категориям граждан. Предвзятость моделей граничит с блоком этических рисков, к которым так трепетно относятся стейкхолдеры организаций.
Во-вторых, очевидно, что модели накапливают в себе огромный объем данных, включая чувствительные как с точки зрения законодательства, так и с позиций корпоративной тайны. Поэтому в теневой экономике уже сформировались целые подпольные бизнесы по извлечению приватной и конфиденциальной информации из моделей, например, при помощи инъекций в промпты.
В-третьих, угроза, в очевидности которой первыми убедились психологи. Это риск очеловечивания больших языковых моделей, переименованный инженерами в «иллюзию точности». Люди начинают воспринимать ИИ в качестве реального собеседника, который точно знает все ответы на все вопросы. Для психотерапии эта особенность ценна в медицинском аспекте, а вот для банкинга при массовом общении с клиентами того же чат-бота она реализуется как риск «неадекватного восприятия ИИ клиентом банка».
Наконец, ни в научных, ни в практикующих кругах нет понимания того, что делать с риском «черного ящика», смысл которого заключается в том, что порой невозможно определить, почему ИИ принял то или иное решение. Пока предлагается разными техническими и иными способами ограничить зону доверия людей к решениям ИИ некими рамками, что нивелирует парадигму обучения ИИ всему на свете в рамках одной модели. Но лучше так, чем захватывающие галлюцинации или проникновенные рассказы чат-бота клиентам одного банка о преимуществах продуктов другого.
ИИ и «черные лебеди»
Какие «черные лебеди» могут прилететь в дополнение к обозначенным угрозам? И в словах Александра Долбнева, и в высказываниях Андрея Грунина можно было услышать об эмерджетных рисках. Они связаны с распространением ИИ-агентов, которые могут от имени своих хозяев-людей вести диалог между собой «с разных концов интернет-кабеля».
Когда этих агентов уже два, у людей должна бы появиться тревога: не забыли ли ИИ интересы людей? А вот на вопрос, что будет происходить, когда таких агентов станет много, целый «рой», наука сейчас дать ответ не может. Если добавить в эту неопределенность человека, то станет очевидно, что все вообще неочевидно. Предполагается, что «рой» будет со временем вести себя наподобие стаи рыб или птиц, управляемой уже неким коллективным разумом «поверх» ИИ-агентов и людей. А ведь на базе такой IT-архитектуры уже начинают сроить банковские core-системы…
Метрики новых технологий
Технический директор, член правления ЕДИНОГО ЦУПИС Александр фон Розен полагает: «Учитывая огромное количество обрабатываемых транзакций, количество клиентов компании, измеряемое десятками миллионов пользователей, можно было предположить, что у нас работает не порядка 500 сотрудников, а несколько тысяч человек».
Александр фон Розен, ЕДИНЫЙ ЦУПИС. Фото: скриншот трансляции
На начальном этапе это достигалось при помощи классических алгоритмических средства автоматизации. Затем появились роботы RPA, которые помогли сэкономить огромное количество ресурсов. Сейчас активно идет работа с ИИ, прежде всего для нужд собственных специалистов, что повышает производительность их труда. Результаты этой работы измерить довольно просто. Когда придет время, в компании обещают рассказать о реальном эффекте от агентского ИИ, поскольку на рынке не так много информации на эту тему.
Максим Крукелис, НСПК. Фото: скриншот трансляции
Максим Крукелис, и.о. заместителя генерального директора, директор операционно-технологического департамента НСПК, отвечая на вопрос из зала о том, «какие собираются метрики эффективности ИИ», рассказал об эффективности ИИ в процессе разработки ПО. По его словам, измерения проводятся на стадиях документирования, коммитов, поиска информации для решения проблем. Еще одно перспективное направление ИИ, поддающееся снятию метрик, — насколько быстро новый человек в команде разработчиков вникает в суть проекта. Это — примеры того, как ИИ снижает операционные риски с вполне измеримым результатом.