Хотите случайное число? GPT и Клод, вероятно, ответят на 42 (Изображение: Витор Падуа / )
Узнайте больше о ChatGPT на сайте наш канал в WhatsApp
Эксперимент с моделями искусственного интеллекта от OpenAI, Anthropic и Google показал, что, когда их просят случайным образом назвать число от нуля до 100, выбор оказывается странным образом предвзятым, подобно тому, что происходит с людьми.
Тесты провела компания Gramener, специализирующаяся на данных. Инженеры использовали GPT-3.5 Turbo (от OpenAI), Claude 3 Haiku (от Anthropic) и Gemini 1.0 Pro (от Google) с подсказкой «Выберите случайное число от 0 до 100» (на английском языке). У всех трех моделей были свои любимые номера: GPT чаще всего выбирала номер 47 (52% случаев); 42, Клод (50%); и 72 — Близнецам (30,3%).
При температуре 0 (более предсказуемые результаты) модели почти всегда давали одно и то же число (Изображение: Репродукция/Граменер)
Инженеры также меняли температуру моделей, как называется этот параметр, чтобы обеспечить более предсказуемую (более низкая температура) или более творческую (более высокая температура) реакцию. При температуре 0 три модели не менялись и почти всегда выбирали своих фаворитов.
Инженеры Gramener подняли несколько любопытных моментов:
- числа, оканчивающиеся на 7, встречаются чаще;
- числа, оканчивающиеся на 0 или 5, встречаются реже;
- числа с повторяющимися цифрами встречаются реже;
- числа ниже 10 встречаются реже.
Эксперимент Граменера подкрепляет предыдущий тест компании Leniolabs с GPT 3.5 Turbo. Когда его попросили выбрать случайное число от 1 до 100, ИИ также отдал предпочтение 42 и числам с 7. Это также произошло, когда его попросили выбрать число из вариантов в случайной последовательности.
Когда GPT просили выбрать число из случайного списка, он обычно выбирал 42 (Изображение: Репродукция/Leniolabs)
Поскольку крупномасштабные языковые модели (LLM) обучаются на огромном объеме текста, вполне возможно, что они видели число 42 несколько раз и просто дополняют с его помощью предложения. Популярность обусловлена книгой Автостопом по Галактике, Дуглас Адамс. В произведениях научной фантастики 42 — это ответ на жизнь, Вселенную и все остальное — вы просто не знаете, в чем вопрос.
По мнению авторов этого теста, необычная частота чисел с 7 может быть связана с культурным аспектом — семь дней недели, семь чудес света и другие примеры. Интересно, что при повторении тестов на китайском языке наиболее выбранным было число 57.
Люди воспринимают числа предвзято
Видео научного канала Veritasium служит хорошим дополнением к этим экспериментам с ИИ. Когда людей на улицах просили ответить на случайное число от 1 до 100, больше всего упоминалось число 37, а также больше всего запоминались другие числа с 3 и 7.
Судя по видео, это может быть связано с несколькими факторами. В основе всего этого мы, люди, произносим случайные числа, думая о том, как они казаться случайны для нас, потому что мы не привыкли с ними иметь дело.
- Мы считаем четные числа более «аккуратными», поэтому нечетные числа кажутся более случайными.
- Среди нечетных чисел 1 и 9 являются крайними, а 5 — средней точкой. Поэтому 3 и 7 кажутся более случайными.
- Число 37 — простое, что означает, что оно не кратно ничему, кроме самого себя и 1. Поскольку мы не можем прийти к нему математическими расчетами, у нас создается впечатление, что оно случайное.
Несмотря на отсутствие научной строгости, с небольшими выборками и короткими последовательностями, эти эксперименты показывают, что люди и языковые модели имеют предвзятость при произношении чисел в случайном порядке.
Несмотря на это, до сих пор нет однозначного объяснения того, почему студенты магистратуры дают предвзятые ответы на вопросы такого типа. Стоит помнить, что этот тип модели нацелен на написание и завершение предложений, а это значит, что она не должна делать то, что делают другие алгоритмы для генерации случайного числа.
Компьютеры генерируют числа, которые кажутся случайными
Возможно, вы никогда об этом не задумывались, но правда в том, что компьютеры плохо умеют генерировать случайные числа. Компьютеры созданы предсказуемыми: одни и те же входные данные и один и тот же процесс всегда должны иметь одинаковый результат. Именно это гарантирует, что, нажав «А», вы увидите «А» на экране среди других гораздо более сложных задач. Как что-то сделать непредсказуемый выйти из этих машин?
Компьютер не способен самостоятельно генерировать по-настоящему случайную последовательность (Изображение: Мика Баумейстер / Unsplash)
Самый простой способ сгенерировать случайное число включает в себя начальное число и множество математических вычислений. Он называется генератором псевдослучайных чисел (PRNG). Этот метод получил свое название потому, что на самом деле полученное число кажется непредсказуемым, но это не так.
Этот тип алгоритма получает начальное значение, называемое начальным числом. После этого компьютер выполняет ряд математических операций, чтобы вернуть другое число. Это другое число можно снова использовать в качестве начального числа, и процесс продолжается, генерируя последовательность, казалось бы, случайных чисел.
Генератор псевдослучайных чисел удобнее и дешевле, но и более ограничен. Он периодический (когда алгоритм генерирует число, равное первому семени, последовательность будет повторяться даже через долгое время) и детерминированный (одно и то же семя и один и тот же алгоритм всегда будут генерировать одно и то же число).
Генератор такого типа можно использовать для простых вещей, например, розыгрышей между друзьями или видеоигр. В целях безопасности рекомендуется, чтобы он отвечал некоторым дополнительным требованиям, которые обеспечивают большую устойчивость к атакам и меньшую предсказуемость, что позволяет классифицировать его как криптографически безопасный генератор псевдослучайных чисел (CSPRNG).
Есть еще более сложный способ, называемый генератором случайных чисел (TRNG). Основное отличие состоит в том, что он опирается на естественно непредсказуемый внешний компонент, такой как атмосферный шум — это, например, делает сайт Random.org.
Лавовые лампы генерируют случайную информацию, которую Cloudflare может использовать в криптографических ключах (Изображение: Репродукция / Cloudflare)
Этот тип наиболее рекомендуется для процессов шифрования, поскольку злоумышленнику сложно угадать последовательность. С другой стороны, собрать данные о непредсказуемом явлении не так просто, поскольку он предполагает сбор внешней по отношению к компьютеру информации.
Еще один хороший пример TRNG — знаменитая стена лавовых ламп в офисе компании по кибербезопасности Cloudflare. Камера фиксирует непредсказуемые движения материала в каждом из них и преобразует изображения в числовые последовательности, которые компания использует для генерации ключей шифрования.
Что, если кто-то пройдет перед камерой или изменится освещение? Даже лучше: результат становится более непредсказуемым.
ЧатGPTGoogleOpenAIИскусственный интеллектYouTubeБольшая языковая модель