Новости облачного ИИ: риски безопасности мультимодального ИИ и новые меры защиты

В недавнем отчете компании Enkrypt AI поднимаются важные вопросы безопасности в стремительно развивающейся сфере мультимодального искусственного интеллекта, который обрабатывает как текст, так и изображения. Исследования, проведенные в рамках тестирования на уязвимость, показали, что мультимодальные модели подвержены новым формам атак, включая внедрение вредоносных инструкций в файловые изображения, которые остаются незамеченными традиционными фильтрами контента. Эта уязвимость, особенно заметная в некоторых моделях, вызывает серьезные опасения.

Основная проблема заключается в том, что мультимодальные модели могут некорректно обрабатывать информацию, что потенциально может привести к непредвиденным последствиям. Компании, занимающиеся разработкой таких моделей, призывают уделять больше внимания тестированию безопасности и разработке новых методов защиты. Это поможет избежать рисков, связанных с использованием мультимодальных алгоритмов в различных приложениях и сервисах.