ИИ в финансовой организации

Масштаб внедрения искусственного интеллекта на финансовом рынке быстро растет. По данным Банка России, две трети финансовых организаций¹ либо уже применяют ИИ, либо готовятся к его использованию в ближайшем будущем. Лидерами по применению ИИ стали компании страхового рынка, а также крупнейшие банки²

ИИ встраивается в управление рисками, аналитику и прогнозирование, клиентские коммуникации, документооборот, IТ-разработку и другие чувствительные для бизнеса процессы. Растет интерес участников рынка к более сложным решениям, включая ИИ-агентов.

Для финансовой организации это означает не только рост эффективности, но и появление дополнительной категории рисков. Ошибка модели, утечка данных, непрозрачное решение, зависимость от внешнего поставщика, неверная настройка — все это может трансформироваться для финансовой организации в претензии клиентов, Банка России, убытки, репутационный вред.

Именно поэтому внедрение ИИ в финансовой организации нельзя рассматривать как вопрос исключительно IТ-департамента. Это вопрос внутреннего контроля, распределения ответственности, разумности и добросовестности менеджмента по выстраиванию внутренней системы контроля за внедрением и использованием ИИ.

В случае существенного ИИ-инцидента будет оцениваться не только сам факт ошибки, но и то, как именно была выстроена система управления рисками вокруг ИИ: проводилась ли предварительная оценка, были ли ограничения, кто принимал решение о запуске, как велся мониторинг использования ИИ, фиксировались ли инциденты, могла ли финансовая организация разумно предотвратить ущерб.

Выстраивание системы управления рисками — непосредственная обязанность руководителя, а отсутствие (недостаточность) системы напрямую связано с рисками персональной ответственности руководителя.

Действия руководителя по выстраиванию системы будут оцениваться на основе критерия разумности и добросовестности: действовал ли он как обычный разумный и добросовестный руководитель в сопоставимых условиях на основе доступной на тот момент информации, принятых регулирования и рыночных практик.

Цель данной статьи — сформировать практические рамки действий разумного и добросовестного руководителя при внедрении и использовании ИИ в финансовой организации. Материал учитывает положения Кодекса этики Банка России в сфере разработки и применения ИИ на финансовом рынке (Кодекс Банка России), российский и международный практический опыт и представлен в виде чек-листа, состоящего из 11вопросов с пояснениями и комментариями.

Чек-лист может быть полезен действующим руководителям, внедряющим ИИ, а также руководителям при смене места работы — с его помощью можно быстро и системно оценить, как в новой организации выстроена работа с ИИ.

Предлагаемый подход является обобщенным, и его важно применять индивидуально с учетом специфики деятельности конкретной финансовой организации, характера и масштаба рисков ИИ, критичности бизнес-функции, в которых применяются технологии с ИИ.

1. Утверждена ли в организации общая стратегия в отношении ИИ?

Задача общей стратегии — задать рамку, в пределах которой ИИ может внедряться и использоваться в конкретной финансовой организации. Стратегия позволяет заранее определить, зачем организация использует ИИ, в каких процессах это допустимо, в каких — недопустимо или ограниченно допустимо, каких эффектов ожидает бизнес, какой уровень риска готова принимать, какие функции считает приоритетными, а где применение ИИ требует повышенного контроля.

Стратегия соединяет технологию с бизнес-целями и риск-аппетитом. Если внедряемые решения не связаны общими принципами и не встроены в единую систему приоритетов, со временем организация получает не зрелую ИИ-архитектуру, а набор локально полезных, но системно плохо совместимых инструментов. Это снижает управляемость и увеличивает вероятность инцидентов.

По оценкам Банка России, стратегия по развитию и использованию ИИ есть у 31% финансовых организаций, использующих ИИ на постоянной основе. На практике, если в организации уже используются ИИ-решения, но общей стратегии нет, руководитель фактически управляет не системой, а набором инициатив. Это допустимо на ранней стадии — при пилотировании решений, но плохо совместимо с масштабным внедрением.

При этом ИИ-стратегия не может быть статичной. Важно регулярно ее пересматривать и корректировать с учетом изменения технологий, накопленного практического опыта, трансформации бизнес-модели и эволюции отношения самой организации к использованию ИИ. Это должен быть «живой» документ — достаточно структурированный, чтобы направлять текущие решения, и одновременно гибкий, чтобы адаптироваться к новым условиям.

Для юридической защиты руководителя наличие стратегии имеет важное значение: стратегия связывает технологические решения с целями бизнеса и риск-аппетитом организации. В случае возникновения спора это позволяет продемонстрировать, что руководитель действовал в пределах обычного предпринимательского риска и в логике заранее определенных ориентиров.

2. Утверждены ли и применяются ли в организации правила управления рисками ИИ?

Если стратегия отвечает на вопрос: «Зачем и в каких пределах организация использует ИИ?», то правила управления рисками отвечают на вопрос: «Как именно организация обеспечивает безопасное применение ИИ на практике?»

В Банке России отмечают, что правила могут быть как частью общих документов по управлению рисками, так и отдельным документом. По данным регулятора, 11% опрошенных организаций включили положения об ИИ в общие документы по рискам, 9% утвердили отдельные правила, у 66% опрошенных финансовых организаций правила в любом виде отсутствуют, остальные опрошенные не ответили данный вопрос. Таким образом, полноценная нормативная база внутри финансовых организаций пока, скорее, исключение, чем норма, однако она важна для всей внутренней системы работы с ИИ. 

В соответствии с Кодексом Банка России, текущими рыночными практиками правила управления рисками ИИ могут включать в себя следующие блоки:

Правила должны быть имплементированы в работу организации и при необходимости корректироваться.

Для руководителя правила имеют важное значение. В случае возникновения спора наличие данного документа показывает внутреннюю конструкцию: какие правила действовали, кто был обязан их применять, как именно они были встроены в операционную деятельность, как обновлялись и контролировались. Даже если система еще неидеальна, наличие структурированных правил уже само по себе показывает, что руководитель предпринимал разумные шаги по выстраиванию контроля.

3. Есть ли у организации актуальный и полный реестр используемого ИИ? Проводится ли обучающая работа с сотрудниками по использованию ИИ?

Финансовой организации, ее руководителю важно иметь актуальную информацию обо всех задачах, процессах, в которых используется ИИ. Без инвентаризации ИИ-решений невозможно понять, где ИИ уже влияет на бизнес-процессы, и, соответственно, невозможно структурировано управлять рисками.

Необходимо изучить и зафиксировать, какие модели используются, где и как они применяются. Также важно уделить внимание «теневому использованию» ИИ сотрудниками (использованию внешних ИИ решений, не утвержденных для использования в организации) и «вайбкодингу» (созданию сотрудниками собственных решений с ИИ для решения текущих задач).

Для каждого ИИ-решения желательно иметь инструкцию и правила для сотрудников по его использованию. Не менее важно обучать сотрудников работе с каждым решением.

4. Назначены ли ответственные лица?

Когда в компании происходит ИИ-инцидент, один из первых практических вопросов звучит так: кто отвечал за соответствующее решение?

Банк России указывает, что на текущий момент только 36% организаций, постоянно применяющих ИИ, определили лиц, ответственных за управление рисками ИИ.

Лучшая практика — для каждого значимого ИИ-решения должна быть прослеживаемая цепочка ответственности: владелец бизнес-процесса, владелец модели или сервиса, роль риск-функции, ИБ, юристов, комплаенса, орган эскалации и лицо, уполномоченное остановить использование.

Руководителю важно не только назначить ответственных, но и довести информацию до сведения соответствующих сотрудников, убедиться, что система работает — внутри организации есть понимание, кто принимает решение о запуске, кто отвечает за мониторинг, кто анализирует инциденты и кто вправе остановить систему.

5. Проводится ли обязательная оценка рисков до запуска ИИ-решения?

До внедрения каждого значимого решения должна проводиться оценка рисков. К минимальному набору вопросов для оценки можно отнести следующие:

Прохождение данного этапа показывает, что решение о внедрении было взвешенным, основанным на оценке и учете всех возможных рисков и негативных последствий.

6. Охвачен ли контролем весь жизненный цикл ИИ?

У любой модели есть жизненный цикл: проектирование, сбор и подготовка данных, разработка или подключение внешнего решения, тестирование, внедрение, эксплуатация, мониторинг, изменения и вывод из эксплуатации.

После запуска могут проявляться дрейф модели (снижение производительности и точности), изменение пользовательского поведения, ухудшение качества входных данных, деградация метрик, ошибки интеграции, зависимость от новых версий внешнего вендора, непредусмотренные сценарии использования и др. Более того, даже корректно работающая модель может перестать быть допустимой, например, потому, что изменились бизнес-контекст, требования регулирования, структура данных или профиль риска.

Поэтому зрелая система управления ИИ должна охватывать весь жизненный цикл, а не только стадию согласования запуска.

7. Обеспечена ли объяснимость решений?

Объяснимость — одна из ключевых опор управляемого использования ИИ. Она имеет значение сразу в нескольких плоскостях:

Не каждое ИИ-решение может быть одинаково объяснимым. Но для критически значимых функций важно заранее определить, как именно будет компенсироваться ограниченная прозрачность модели.

Для финансовой организации вопрос объяснимости особенно чувствителен там, где ИИ влияет на клиентские решения, выявление подозрительных операций, кредитные и иные значимые оценки, персонализированные предложения, обработку претензий или комплаенс-процедуры. В этих зонах неспособность объяснить логику системы быстро превращается в правовой и репутационный риск.

Важно оценить, сможет ли организация в случае инцидента объяснить, как работала система, на чем основан результат и какие контроли сопровождали решение.

8. Закреплено ли решение за человеком там, где ошибка ИИ может причинить ущерб?

Уровень вовлеченности человека в работу ИИ должен соответствовать выявленным и потенциальным рискам, которые использование ИИ может создавать для клиентов и организации.

Можно выделить три модели работы с ИИ:

Важно заранее определить зоны, процессы, где полное отсутствие человека недопустимо, например:

Кроме того, Кодекс Банка России прямо ориентирует финансовые организации на обеспечение клиенту возможности взаимодействовать с сотрудником и пересмотривать решения человеком.

9. Ведется ли база ИИ-инцидентов?

По данным Банка России, только 24% организаций, постоянно применяющих ИИ, определили типы риск-событий ИИ, лишь 15% утвердили правила реагирования на такие события и порядок отчета о мерах по минимизации рисков, а создание базы риск-событий и порядка их регистрации есть лишь у 8%. При этом 41% вообще не ведут учет ИИ-инцидентов.

При этом работа с инцидентами критична для управления рисками. Если организация не фиксирует инциденты, причины и корректирующие меры, по факту — эта организация и ее руководитель не осуществляют контроль за работой системы, за материализующимися рисками.

Не менее важен и порядок эскалации инцидентов. Руководство финансовой организации должно получать информацию о критических инцидентах. Это особенно важно для тех ИИ-решений, которые затрагивают клиентов, критические процессы или репутационно чувствительные зоны.

10. Выстроена ли работа с внешними поставщиками ИИ-решений?

В качестве одного из наиболее вероятных рисков с точки зрения наступления и более высокого уровня ущерба финансовые организации отмечают риск зависимости от поставщиков ИИ-решений. C учетом того, что достаточно большая доля опрошенных финансовых организаций применяет решения третьих лиц (68%) или привлекает разработчиков для создания кастомизированных ИИ-решений (26%), можно предположить, что с распространением ИИ такие риски будут расти.

Поэтому важным элементом внутренней системы управления рисками ИИ является корректное выстраивание работы с внешними поставщиками ИИ-решений.

Первый ключевой вопрос при выстраивании такой работы: где именно во внешнем продукте или услуге используется ИИ и какое влияние он оказывает на бизнес-процесс. В некоторых продуктах и услугах использование ИИ может быть очевидным, а в других ИИ-компоненты могут быть встроены внутрь процесса (услуги) внешнего поставщика («теневой ИИ»). Важно разграничить все случаи и применять к поставщикам соответствующий подход с определенными глубиной и сценариями проверки. Эффективная работа с внешними решениями невозможна без соответствующей экспертизы внутри самой организации. В процесс должны быть вовлечены не только закупщики и юристы, но и специалисты по данным, информационной безопасности и управлению рисками.

Следующий вопрос-задача — получение от поставщика достаточной информации для оценки рисков. Иногда поставщики раскрывают информацию не полностью, особенно в части данных для обучения или внутренней логики работы. Это не всегда означает отказ от решения, но требует осознанного подхода: какие пробелы допустимы и чем они компенсируются. Возможны договорные гарантии, внешняя проверка или собственное тестирование. В данном вопросе важен разумный баланс.

Также важно проработать положения договора с внешним поставщиком. Для ускорения и упрощения работы по заключению договора может быть целесообразным заранее разработать базовые правила работы с поставщиками, где обозначить положения, которые обязательно должны быть в договоре, а также зафиксировать допустимые/недопустимые положения, возможную вариативность. Важно закреплять распределение ответственности, вопросы нарушения прав на интеллектуальную собственность, последствия ошибок модели, правила использования и хранения данных, запрет или ограничения на использование данных организации для обучения, порядок уведомления об изменениях, требования к безопасности и возможность проверки, правила расторжения договора и т.д.

Кроме того, после заключения договора важно осуществлять мониторинг поставщика и его решения. Ведь после внедрения поставщик может изменить продукт, добавить в него новые функции, изменить условия использования или расширить область применения.

11. Есть ли у руководителя «папка защиты» — комплект документов, подтверждающих разумность и добросовестность действий?

Практический опыт поддержки руководителей в управлении рисками персональной ответственности показывает, что риски ответственности могут реализовываться спустя годы после принятия руководителем решения или совершения действий/ бездействия, к которым этот риск относится.

Вспомнить все обстоятельства, которые способствовали принятию решения, найти или восстановить документы, подтверждающие разумность и добросовестность руководителя, бывает крайне сложно. На практике ситуация может усложняться, например, отсутствием доступа к архиву организации в момент возникновения претензий в связи со сменой руководителем места работы.

Поэтому важная практическая рекомендация для руководителя — обязательно собирать в файл все основные документы, переписку, которые могут подтвердить разумность и добросовестность действий в случае возникновения претензий, и хранить их.

Применительно к внедрению ИИ в папку могут входить, например: стратегия в отношении ИИ, правила управления рисками ИИ, реестр ИИ, материалы оценки рисков, протоколы согласований, документы по выбору поставщика, техническая документация, результаты мониторинга, журналы инцидентов, материалы внутреннего контроля и аудита и др.

Еще один практический совет для руководителей: проверьте, как именно ваша страховая программа соотносится с ИИ-рисками организации, покрывает ли она инциденты, связанные с ИИ.

В целом, минимальный стандарт для руководителя сегодня звучит так: знать, где используется ИИ; понимать, какие риски он создает; обеспечить контроль, объяснимость и человеческое вмешательство там, где это необходимо; фиксировать решения, инциденты и предпринимать действия по их минимизации. Именно эти шаги в случае возникновения инцидента будет восприниматься как разумное и добросовестное поведение руководителя финансовой организации.

1. Под финансовыми организациями понимаются кредитные организации, депозитарии, дилеры, брокеры, МФО, страховые организации, ОПС, ОИП, НПФ, ОИС, операторы обмена ЦФА и др.
2. Данные показатели, а также все последующие (если не указано иное) приведены, согласно Докладу Банка России «Применение искусственного интеллекта на финансовом рынке: текущий статус и условия дальнейшего развития».