ИИ Google становится лучше в математике!

На прошлой неделе искусственный интеллект (ИИ) Google DeepMind затмил всех, решив четыре математические задачи Международной математической олимпиады (IMO) 2024 года из шести.

Мероприятие считается главным математическим соревнованием для «самых блестящих математиков» мира. Производительность ИИ, полученная от двух моделей, привела к получению 28 баллов, производительность, достойная серебряной медали – это первый раз, когда ИИ достигает такой производительности.

Алекс Дэвис, руководитель математической инициативы Google DeepMind, назвал этот подвиг «большим достижением» в математических рассуждениях системы искусственного интеллекта. Пушмит Кохли, вице-президент компании по исследованиям, сказал: Нью-Йорк Таймс, что система «не идеальна, мы не все решили. Мы хотим быть идеальными».

ИИ Google хорош в математике

• Компания поискового гиганта попросила двух независимых экспертов оценить производительность ее системы;
• Математик Тимоти Гауэрс и разработчик программного обеспечения Джозеф Майерс. Оба выиграли медали на прошлых турнирах IMO;
• Майерс сказал, что ему «изо всех сил хотелось оценить попытки ИИ в соответствии с тем, как в этом году оценивались попытки людей»;
• Гауэрс заявил, что он «определенно впечатлен» и «мои ожидания были очень высокими», поскольку лаборатория уже намеревалась создать конкуренцию ИИ;
• Далее он сказал, что «программа соответствовала им и в одном или двух случаях значительно их превосходила»;
• Система Google решила две задачи по алгебре: одну по геометрии и одну по теории чисел, но не смогла решить две по комбинаторике;
• В то время как у студентов было 4,5 часа на одну задачу, система могла решать столько, сколько хотела, а на одну из них требовалось до трех дней.

Команда, стоящая за ИИ, считает, что скорость разрешения — это обратная сторона общего успеха, поскольку «на самом деле это просто вопрос того, сколько вычислительной мощности вы готовы вложить в эти вещи», — отметил доктор Сильвер.

Тот факт, что мы достигли этого предела, когда можно даже иметь дело с этими проблемами, представляет собой радикальный сдвиг в истории математики. И я надеюсь, что это не просто радикальное изменение, IMO, но также представляет собой точку, в которой мы переходим от компьютеров, способных доказывать только очень, очень простые вещи, к компьютерам, способным доказывать то, что люди не могут.

Дэвид Сильвер, учёный-исследователь, в интервью изданию Нью-Йорк Таймс

Читать далее:

Математическое приложение в системе Google

В течение многих лет DeepMind стремилась внедрить искусственный интеллект в математику в сотрудничестве с математиками-исследователями мирового уровня. Дэвис отметил, что «математика требует этой интересной комбинации абстрактных, точных и творческих рассуждений».

Он частично понимает, что вышеупомянутый набор навыков важен для достижения общего искусственного интеллекта (AGI), способного превосходить человеческие возможности. Эту цель преследуют такие компании, как OpenAI, Meta AI и xAI.

Демонстрация силы

В январе другая система Google DeepMind под названием AlphaGeometry смогла решить задачи по выборочной геометрии с Олимпийских игр на уровне золотых медалистов.

«AlphaGeometry 2 теперь превзошла золотых медалистов IMO в решении задач», — сказал ведущий исследователь Тханг Луонг в электронном письме Времена.

Стоит выделить решение четвертой предложенной задачи: система решила ее всего за 19 секунд.

Google DeepMind разделил свои усилия на две команды: одну возглавлял Томас Хьюберт, инженер-исследователь из Лондона, а другую возглавляли доктор Луонг и Куок Ле из Маунтин-Вью, в каждой из которых работало около 20 исследователей.

Доктор Хьюберт создал аналогичную, но более обобщенную модель под названием AlphaProof. Система была разработана для охвата огромного спектра математических тем. И AlphaGeometry (более старая версия), и AlphaProof использовали различные технологии искусственного интеллекта.

Одним из использованных подходов была неформальная система рассуждений, выраженная на естественном языке. Эта система использовала Gemini, основной искусственный интеллект Google. В качестве обучающих данных он использовал английский корпус опубликованных задач, доказательств и т.п.

Неформальная система выявляет закономерности и предлагает, что делать дальше; креативен и доступно рассказывает об идеях. Стоит помнить, что отличные языковые модели могут изобретать что-то неправильное для математики. Однако в данном случае эта большая языковая модель (LLM) была более сдержанной. Он не был застрахован от галлюцинаций, но их частота была ниже.

Другой использованный подход представлял собой формальную систему рассуждений, основанную на логике и выраженную в коде. Использовалось программное обеспечение для доказательства теорем и помощника по доказательству под названием Lean.

Это гарантирует, что если система утверждает, что доказательство верно, то оно действительно правильное. «Мы можем точно проверить, верно ли доказательство. Каждый шаг гарантированно логически обоснован», — сказал доктор Хьюберт.

Еще одним важным компонентом был алгоритм обучения с подкреплением на базе AlphaGo и AlphaZero. Этот тип ИИ обучается сам и масштабируется до бесконечности, отметил доктор Сильвер.

Поскольку алгоритму не нужен человек для его обучения, он может «обучаться, продолжать учиться и продолжать учиться, пока, наконец, не сможет решить самые сложные проблемы, которые могут решить люди». И тогда, возможно, однажды это выйдет за их рамки», — пояснил он.

Система может заново открыть для себя знания, сказал доктор. Именно это произошло с AlphaZero (который играет в шахматы), который начал без каких-либо знаний, «и, просто играя и наблюдая, кто выигрывает, а кто проигрывает, он может заново открыть для себя все знания о шахматах. Нам потребовалось меньше дня, чтобы заново открыть все знания по шахматам, и около недели, чтобы заново открыть все знания по Го. Поэтому мы подумали: давайте применим это к математике».

Доктор Гауэрс, с другой стороны, не так обеспокоен долгосрочными последствиями. «Можно представить ситуацию, при которой математикам практически нечего делать. Это было бы так, если бы компьютеры стали лучше и намного быстрее во всем, что сегодня делают математики».

Кажется, предстоит пройти еще долгий путь, прежде чем компьютеры смогут выполнять математические вычисления исследовательского уровня. Можно с уверенностью сказать, что если Google DeepMind может решить хотя бы несколько сложных проблем, IMO, то полезный исследовательский инструмент не может быть так уж далеко.

Тимоти Гауэрс, математик, в интервью Нью-Йорк Таймс