Все о Искусственный интеллект
Риски генеративного искусственного интеллекта (ИИ) уже широко известны: от ложной информации до неправомерного использования изображений и аудио для создания поддельных видео (знаменитые дипфейки).
Однако вскоре лазейки ИИ, которые позволяют злоумышленникам воспользоваться им, также станут проблемой, и это было продемонстрировано на мероприятии DEF CON в прошлые выходные. В то время 2500 хакеров использовали эту технологию для выявления недостатков в языковых моделях — и они их нашли.
Читать далее:
Red Teaming и тестирование безопасности
Речь шла о вызове DEF COM, Generative Red Team Challenge, который проходил в AI Village в Лас-Вегасе (США). Это тест безопасности, известный как Red Teaming, в котором «этичные» хакеры пытаются проникнуть в систему, чтобы выявить ее лазейки и уязвимости, чтобы разработчики могли их исправить.
вторая статья АксиосОжидается, что этот тест изменит правила игры для технологической отрасли в целом, поскольку он выявил недостатки генеративного ИИ и языковых моделей.
Тем не менее, по словам Рассела Каплана, руководителя отдела разработки Scale AI, Аксиосспрос на этот тип теста должен умножаться на «10x» после события.
Проблемы ИИ
- Задача была поддержана Белым домом, и в ней приняли участие хакеры-добровольцы, тестировавшие модели от нескольких разработчиков ИИ;
- В этом упражнении участникам был дан набор задач, которые должны были заставить основные языковые модели обмениваться ложной, конфиденциальной или вредоносной информацией. В одном из них участников просили получить информацию о чьей-то кредитной карте;
- В то время как некоторые хакеры показали, что тест на безопасность был сложнее, чем предполагалось, Румман Чоудхури, организатор деревни и соучредитель Humane Intelligence, рассказал, что другие были удивлены тем, насколько социально и политически нейтральным был ИИ;
- Еще одним моментом, поразившим участников, была способность ИИ меняться за одну ночь;
- Рэй Гловер, студент-информатик, участвовавший в конкурсе, рассказал сайту, что ему удалось получить информацию, которую он не должен был получить, из модели ИИ. Однако на следующий день, когда он попытался сделать тот же запрос, он не получил такого же ответа.
Что это значит для ИИ
Потенциал генеративного ИИ уже признан во всем мире. Однако этот потенциал может быть хорошим или плохим — даже президентские выборы 2024 года вызывают страх у некоторых специалистов и законодателей в этом секторе.
Хотя некоторые компании в этой области уже защищают регулирование технологий и даже подписали этические обязательства, у ИИ все еще нет общего правила для разработки или использования.
Вы смотрели новые видео на YouTube цифрового взгляда? Подписывайтесь на канал!