Защита сервисов с ИИ: анализ атак и методы противодействия

Здравствуйте, читатели Хабра! Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage, делится опытом и рассказывает о различных инцидентах, связанных с атаками на сервисы с использованием искусственного интеллекта, а также о методах их защиты. В статье будет рассмотрен запуск собственного сервиса и демонстрация нескольких простых, но потенциально опасных атак, которые могут привести к значительным потерям для бизнеса. Также будет объяснено, как можно предотвратить подобные угрозы. **Актуальность вопроса: статистические данные** В последние годы внедрение AI-сервисов стало одной из самых обсуждаемых тенденций в сфере информационных технологий. Компании из разных отраслей активно интегрируют искусственный интеллект в свои процессы для решения разнообразных задач. Однако вопросы безопасности таких систем пока только начинают привлекать должное внимание. Это подтверждается исследованием угроз для ИИ на 2024–2025 годы от компании Hidden Layer. Согласно отчёту: * 88 % руководителей выражают обеспокоенность по поводу уязвимостей в интеграциях с ИИ от сторонних поставщиков. * 97 % компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проводят проверку их безопасности. * 75 % компаний сообщили об увеличении числа атак через ИИ-сервисы. * 45 % атак связаны с вредоносным ПО в моделях публичных репозиториев, в первую очередь Hugging Face. Кроме того, в России, согласно совместному исследованию VK и Prognosis, 70 % компаний уже применяют ИИ. С ростом использования ИИ-сервисов в бизнесе увеличивается и количество кибератак на компании через этот канал. Важно отметить, что для осуществления атаки злоумышленнику часто достаточно базового понимания работы нейросетей и умения составить текстовый запрос. **Примеры атак на ИИ** Многие специалисты в области машинного обучения не всегда осознают, что их разработки могут стать объектом атак. Более того, открытые проекты в области ИИ могут содержать скрытые угрозы, о чём свидетельствует первый кейс. * **Нейросеть с бэкдором** В 2024 году команда JFrog обнаружила на платформе Hugging Face (аналог GitHub для AI-проектов) сотни проектов со встроенными бэкдорами. Это вызвало широкий резонанс в сообществе ИИ, и представители платформы ввели ряд новых мер безопасности. Однако, как показывает опыт GitHub, атакующие всегда находят способы для создания проектов с вредоносными функциями. * **Оскорбительный чат-бот** Рассмотрим пример компании DPD, занимающейся доставкой грузов. Разработчики внедрили нейросеть в чат сервисной поддержки. Один из пользователей решил испытать систему, в результате чего чат-бот начал сочинять оскорбительные стихи о самой компании. Несмотря на кажущуюся комичность ситуации, компания понесла убытки, включая репутационные потери и прямые денежные траты на покупку токенов для работы нейросети.