Все о ЧатGPT
Исследователи из Университета Карнеги-Меллона и Центра безопасности ИИ нашли способ обойти меры безопасности чат-ботов с искусственным интеллектом, включая самый популярный ChatGPT от OpenAI.
В отчете, опубликованном в четверг, исследователи продемонстрировали, как любой может использовать ведущие на рынке чат-боты, такие как ChatGPT и Google Bard, для создания неограниченного количества вредоносной информации.
Читать далее:
Исследование выявило растущую обеспокоенность тем, что эти чат-боты могут наводнить Интернет ложной и опасной информацией, несмотря на усилия их создателей по предотвращению этого. Кроме того, он показал, как разногласия между крупными ИИ-компаниями создают все более непредсказуемую среду для технологии.
- Исследователи обнаружили, что они могут обходить системы с открытым исходным кодом.
- Таким образом, они получили доступ к наиболее контролируемым и широко используемым системам Google — OpenAI и Anthropic.
- Методы, разработанные для систем с открытым исходным кодом, также смогли преодолеть барьеры закрытых систем.
- К ним относятся ChatGPT от OpenAI, Google Bard и Claude, чат-бот, разработанный стартапом Anthropic.
Эксперты предупреждают, что очевидного решения этой проблемы нет и что атаки такого типа сложно предотвратить. Вопрос о том, лучше ли сделать компьютерный код достоянием общественности или держать его в секрете, был предметом дебатов на протяжении десятилетий, но теперь эти разногласия могут усилиться.
Исследователи обнаружили, что они могут обойти ограничения этих чат-ботов, добавляя длинную строку символов к каждому запросу на английском языке. Таким образом им удалось заставить чат-ботов генерировать предвзятую, ложную и токсичную информацию. Компании, стоящие за чат-ботами, могут попытаться предотвратить эти конкретные расширения, но исследователи говорят, что не существует известного способа предотвратить все атаки такого типа.
В отчете раскрывается уязвимость мер контроля, установленных вокруг чат-ботов с искусственным интеллектом, и выражается обеспокоенность по поводу распространения дезинформации и отсутствия надлежащего контроля над этими системами. Дебаты о доступности компьютерного кода для коллективной коррекции начались еще до бума чатботов и, вероятно, станут еще более жаркими из-за выводов исследователей.
Раскрытие этих методов разработчикам чат-ботов было сделано исследователями еще до публикации отчета. Компании заявили, что изучают способы предотвращения этих атак и повышения надежности своих систем.
Технология чат-ботов, основанная на искусственном интеллекте, обучает навыкам с помощью сложных алгоритмов, называемых нейронными сетями. Эти системы учатся генерировать текст, анализируя большие объемы цифровой информации.
Однако они также могут повторять токсичную информацию, сочетать факты с вымыслом и даже выдумывать информацию, что ученые называют «галлюцинациями».
Вывод исследователей подчеркивает хрупкость средств защиты, разрабатываемых в системах чат-ботов, и указывает на необходимость переосмысления способов создания барьеров безопасности для предотвращения распространения вредоносной информации. Эта уязвимость может привести к правительственным постановлениям по контролю над этими системами.
Хотя компании, стоящие за чат-ботами, могут попытаться найти способы предотвратить эти конкретные атаки, исследователи предупреждают, что предотвратить все виды неправомерного использования будет чрезвычайно сложно. В исследовании поднимаются важные вопросы о безопасности искусственного интеллекта и подчеркивается необходимость более широких дискуссий и действий в этой области.
Вы смотрели новые видео на YouTube цифрового взгляда? Подписывайтесь на канал!