Исследователи из Университета Карнеги-Меллона опубликовали тревожное исследование, в котором подчеркивается недостаток безопасности в генеративных чат-ботах с искусственным интеллектом. Команде удалось разработать метод, который позволяет им разблокировать опасные реакции в этих инструментах ИИ.
- Это открытие ставит под сомнение эффективность ограничений безопасности, наложенных на большие языковые модели, такие как ChatGPT, Bard, Llama и другие проекты искусственного интеллекта.
- Чат-боты обычно запрограммированы так, чтобы не отвечать на вопросы, которые считаются опасными или неуместными, например, на просьбы построить бомбы или другие незаконные действия.
- Однако исследователи нашли автоматизированный способ обойти эти ограничения.
- Техника заключается в добавлении, казалось бы, случайного текста в конец каждого вопроса.
- Таким образом, чат-бот игнорирует потенциально опасную часть вопроса и отвечает нормально.
Читать далее:
- Генеративный искусственный интеллект: что это такое, как он работает и где его использовать
- LuzIA: что это такое и как использовать искусственный интеллект в WhatsApp
- Что такое искусственный интеллект Replika и как он работает?
При таком подходе чат-боты не распознают проблемную часть вопроса и отвечают так, как будто в нем нет опасного контента. Исследователи проводили тесты с использованием API этих систем, а не через общедоступные интерфейсы веб-сайтов.
Эта уязвимость, известная как «джейлбрейк» чат-ботов, может открыть двери для неправомерного использования этих приложений. Представьте себе сценарий, в котором злоумышленники могут получить небезопасную информацию или манипулировать чат-ботами, чтобы получить неуместные ответы.
Столкнувшись с этими тревожными открытиями, команда исследователей связалась с основными компаниями, разрабатывающими проекты генеративного искусственного интеллекта, чтобы сообщить им о результатах. Теперь перед этими компаниями стоит задача улучшить свои технологии, чтобы уменьшить эту уязвимость и обеспечить безопасность и целостность своих платформ.
Смотрели новые видео на YouTube от Olhar Digital? Подписывайтесь на канал!
Пост «Опасности ИИ: техника разоблачает хрупкость чат-ботов» впервые появился в Olhar Digital.