Федеральная служба по техническому и экспортному контролю (ФСТЭК) впервые внесла в банк данных угроз (БДУ) информационной безопасности риски, связанные с искусственным интеллектом (ИИ), пишут «Ведомости» во вторник.
Для описания ИИ-угроз в БДУ создан отдельный раздел, рассматривающий специфичные для технологии искусственного интеллекта угрозы безопасности информации. Перечень угроз адресован субъектам критической информационной инфраструктуры (КИИ) и органам государственной власти.
ИИ-угрозы делятся на две группы:
1. Угрозы безопасности информации, реализуемые в инфраструктуре разработчика и связанные с разработкой и обучением систем ИИ:
- эксплуатация уязвимостей и недекларированных возможностей кода программного обеспечения разработчика, обеспечивающего реализацию технологии ИИ (модели машинного обучения), а также входящих в его состав фреймворков, библиотек, иных инструментов;
- эксплуатация уязвимостей и недекларированных возможностей входной модели машинного обучения;
- эксплуатация недостатков наборов обучающих данных;
- несанкционированная модификация программного обеспечения или конфигурации среды разработки ИИ-системы;
- несанкционированная модификация (отравление) наборов обучающих данных;
- несанкционированная модификация параметров (весов) модели машинного обучения и LoRA (Low-Rank Adaptation – подход, который позволяет адаптировать большие модели к конкретным задачам), а также данных RAG (Retrieval Augmented Generation – подход, при котором ответ генерируется на основе данных, полученных из внешних источников).
2. Угрозы безопасности информации, реализуемые в инфраструктуре оператора системы информационной системы на этапе эксплуатации ИИ-систем:
- формирование большого количества запросов к интерфейсам взаимодействия с ИИ-системой в целях отказа в обслуживании систем ИИ (DoS-атака);
- формирование специальных запросов к интерфейсам взаимодействия с системой искусственного интеллекта, в том числе, через RAG или внешние источники аугментации запросов, в целях получения конфиденциальной информации и (или) нарушения функционирования ИИ-системы;
- формирование специальных запросов, ответы на которые позволяют получить сведения о недостатках модели машинного обучения в целях нарушения функционирования ИИ-системы (состязательная атака);
- модификация (изменение) параметров (весов) модели машинного обучения в целях нарушения функционирования системы ИИ;
- модификация конфигураций модели машинного обучения и агентов (например, системного промпта) в целях нарушения функционирования ИИ-системы;
- формирование большого количества запросов к интерфейсам взаимодействия с ИИ-системой в целях обучения на основе полученных данных другой модели машинного обучения (кража модели машинного обучения);
- исчерпание квоты (лимита) обращений (токенов) пользователя системы ИИ в целях приведения ее в состояние «отказ в обслуживании».
Первоначальной целью создания БДУ являлось повышение информированности специалистов по ИБ о существующих угрозах. Но теперь любая организация, от которой законодательство требует защиты своей информационной системы, обязана использовать банк для разработки модели угроз, говорится на сайте ФСТЭК.
По данным «Ведомостей», опубликованный перечень не обязывает бизнес к каким-либо действиям прямо сейчас, но появление списка означает, что разработчикам ИИ-решений необходимо предусмотреть возможность внедрения новых процессов разработки, тестирования и эксплуатации ИИ-моделей, чтобы обеспечить безопасность данных и IT-архитектуры. Также документ определяет критерии для выбора средств защиты, не предписывая конкретный софт, но указывая, от каких векторов атак он должен защищать.
