Swordfish Security опубликовали фреймворк безопасности искусственного интеллекта

Swordfish Security опубликовали фреймворк безопасности искусственного интеллекта Методология по оценке зрелости компаний, применяющих искусственный интеллект, будет доступна для ИБ-команд компаний бесплатно. Таким образом, специалисты по кибербезопасности решили обеспечить зарождающийся рынок ИИ-безопасности экспертизой. Об этом CNews сообщили представители ГК Swordfish Security. Карту угроз и профилактических мер создавали специально для российского рынка, учитывая требования регуляторов России и специфику российских ИИ-систем. Во фреймворке «Swordfish: SAIMM» собрали основные направления для анализа ИИ, включая ИИ-агентов, критерии оценки рисков и план по их преодолению. Это своего рода чек-лист для самопроверки компаний, внедряющих искусственный интеллект, и ориентированных оценить уровень зрелости и построить дорожную карту его развития. «На российском рынке ежедневно анонсируется запуск нового ИИ-агента, а коммерческие компании регулярно внедряют разнообразные инструменты на основе языковых моделей для ускорения бизнес-процессов. Если не обеспечить безопасность, количество и сложность атак на бизнес, которым российские компании подвергаются сейчас, может показаться разминкой, ведь AI-системы имеют свои особенности, утроены сложнее, а их защиту обойти зачастую проще, чем традиционное ПО», – сказал директор по развитию технологий искусственного интеллекта Swordfish Security Юрий Шабалин. Важная часть фреймворка – таксономия угроз ИИ-систем. Методология фокусируется на специфичных для ИИ угрозах, дополняя классические практики AppSec. При разработке учли международные классификации уязвимостей: OWASP Top-10, NIST AI, RMF, ENISA, MITRE ATLAS. Разработчики собрали воедино около 80 основных уязвимостей систем с участием искусственного интеллекта. В таксономию угроз, в частности, попали компрометация моделей, обход ограничений, раскрытие чувствительной информации в ответе, конфликт иерархии инструкций и другие. Каждой обнаруженной угрозе соответствует ее международная классификация и меры защиты и контролей. Прядок оценки зрелости применим к любой организации, использующей ИИ, будь то финтех, онлайн-торговля или государственная инфраструктура. Разработчики фреймворка безопасности искусственного интеллекта являются активными членами Консорциума по безопасности ИИ, и опыт, полученный в рамках всероссийского исследования, учитывали в своих расчетах. «При разработке фреймворка мы, в том числе, учитывали положения национального проекта «Искусственный интеллект в критической информационной инфраструктуре», два этих документа разрабатывались параллельно, домены фреймворка укладываются в его структуру. Мы даем практическую гранулярность норм: кто за что отвечает, какие артефакты формируются, где автоматизируются контроли и как выглядят процедуры допуска/эксплуатации/реагирования», – сказала Альбина Аскерова, руководитель направления по взаимодействию с регуляторами Swordfish Security. 25% крупнейших финансовых компаний уже столкнулись с инцидентами с участием ИИ – такие результаты показало исследование, которое Ассоциация Финтех провела совместно с Swordfish Security. Это важный сигнал для бизнеса, который говорит о том, что новая цифровая эпоха уже наступила, но инструменты защиты информации для нее только разрабатываются.