Признанная крупномасштабная языковая модель OpenAI, ChatGPT, была описана Кевином Роузом, автором книги «Защита от будущего: 9 правил для людей в эпоху автоматизации», как «просто лучший чат-бот с искусственным интеллектом, когда-либо выпущенный для широкой публики», и как «одна из величайших вещей, когда-либо созданных для вычислений», по словам генерального директора Nvidia Дженсена Хуанга. Но некоторые исследователи говорят, что чат на основе ИИ «непостоянен» и «становится все хуже».
Читать далее:
- ChatGPT: 7 вещей, которые может делать чат-бот (но не делает)
- 5 причин НЕ использовать ChatGPT
- Как распознать «фальшивые» фотографии, созданные искусственным интеллектом
Многие считают, что модель ChatGPT официально превзошла тест Тьюринга, традиционный эталон способности машины соответствовать человеческому интеллекту. ChatGPT превосходит высокопроизводительные экзамены в нескольких областях: математика (89-й процентиль), право (90-й процентиль) и вербальный GRE (99-й процентиль).
Кроме того, в июле 2023 года исследователи медицинской школы Нью-Йоркского университета сообщили, что советы, данные ChatGPT по вопросам, связанным со здоровьем, почти неотличимы от рекомендаций, предоставляемых медицинским персоналом.
Исследователи считают, что ChatGPT ухудшается
Однако исследователи из Стэнфордского университета и Калифорнийского университета в Беркли выразили обеспокоенность по поводу надежности ChatGPT. Линцзяо Чен, Матей Захария и Джеймс Чжу отметили, что производительность чат-бота была непостоянной, а в некоторых случаях даже ухудшалась.
Исследование, опубликованное 18 июля на сервере допечатной подготовки arXiv, показало, что «производительность и поведение GPT-3.5 и GPT-4 значительно различаются» и что ответы на некоторые задачи «со временем существенно ухудшаются».
В марте 2023 года GPT-4 достиг 97,6% попаданий в задачи, связанные с простыми числами. Однако при использовании модели июня 2023 года этот показатель упал всего до 2,4%. Кроме того, способность ChatGPT помогать программистам с проблемами программирования и отладки также снизилась: с чуть более 50% в марте до 10% в июне.
Изображение: Попель Арсений/Shutterstock
Чжу сказал, что трудно определить причину, хотя очевидно, что системные модификации и обновления являются факторами. «Мы не до конца понимаем, что вызывает эти изменения в ответах ChatGPT, потому что эти модели непрозрачны», — сказал Чжу.
OpenAI отвергла утверждения сторонников теории заговора о том, что компания экспериментирует с меньшими версиями LLM в качестве меры экономии или что она намеренно ослабляет GPT-4, чтобы разочарованные пользователи были более готовы платить за LLM-аксессуар GitHub, CoPilot.
«Мы не делали GPT-4 тупее. Наоборот: мы делаем каждую новую версию умнее предыдущей», — написал в недавнем твите Питер Велиндер, вице-президент по продуктам OpenAI.
В разгар этого некоторые наблюдатели, обеспокоенные разрушительным влиянием «дрейфа» на результаты моделирования, подталкивают OpenAI к раскрытию источников учебных материалов, кода и других структурных элементов, лежащих в основе ChatGPT 4.0.
«Любой результат в моделях с закрытым исходным кодом нельзя ни воспроизвести, ни проверить, поэтому с научной точки зрения мы сравниваем енотов и белок», — пояснила Саша Лучони из ИИ-компании Hugging Face. Она утверждала, что ответственность за мониторинг развернутых LLM лежит на создателях моделей, которые должны предоставлять доступ к базовым моделям, по крайней мере, для целей аудита.
Вы смотрели новые видео на YouTube цифрового взгляда? Подписывайтесь на канал!
Сообщение Становится ли ChatGPT тупее? Исследователи говорят, что yes впервые появился в Olhar Digital.