С ноября 2022 года ChatGPT покорил мир своими более чем удивительными функциями, демонстрирующими мощь генеративного ИИ.
Менее чем через год после выпуска команда Массачусетского технологического института разработала систему, которая может дать машинное обучение (машинное обучение) несколько команд, даже более мощных, чем поддерживаемые ChatGPT.
Читать далее:
Кроме того, система, разработанная командой, может потреблять меньше энергии для заказов, чем современные суперкомпьютеры, которые работают с текущими моделями машинного обучения.
- В исследовании, опубликованном в Фотоника природыисследователи провели первую экспериментальную демонстрацию новой системы;
- Новый суперкомпьютер выполняет расчеты на основе движения света, а не электронов, используя сотни микронных лазеров;
- Команда указала, что система имеет более чем 100-кратное улучшение энергоэффективности и 25-кратное улучшение плотности вычислений (показатель мощности системы) по сравнению с современными цифровыми компьютерами, ориентированными на машинное обучение;
- Команда также процитировала «существенно несколько других порядков для будущих улучшений».
Авторы также указывают, что в результате новинка может сделать смартфоны и другие небольшие устройства способными запускать программы, которые в настоящее время исполняются только в крупных центрах обработки данных.
Кроме того, поскольку его компоненты изготавливаются с помощью существующих процессов, «мы рассчитываем, что через несколько лет сможем использовать его в коммерческих целях. Например, массивы лазеров с оболочкой широко используются для идентификации сотовых телефонов и передачи данных», — сообщает Зайджун Чен, ведущий автор исследования, который провел его, будучи научным сотрудником Массачусетского технологического института в Исследовательской лаборатории электроники.
Размер ChatGPT ограничен мощностью современных суперкомпьютеров. Просто экономически нецелесообразно обучать модели намного большего размера. Наша новая технология может позволить перейти к моделям машинного обучения, которые иначе были бы недостижимы в ближайшем будущем. Мы не знаем, какими возможностями будет обладать ChatGPT следующего поколения, если он станет в 100 раз мощнее, но это режим обнаружения, который может обеспечить этот тип технологии.
Дирк Инглунд , доцент кафедры электротехники и информатики Массачусетского технологического института (EECS) и руководитель работы.
прыжок необходим
Глубокие нейронные сети (DNN), такие как та, на которой работает ChatGPT, основаны на массивных моделях машинного обучения, которые могут имитировать обработку информации человеческим мозгом.
Но сегодняшние технологии, на которых работают DNN, достигают своих пределов, несмотря на рост в этой области. Они также требуют много энергии и ограничены огромными центрами обработки данных. Это привело к развитию новых вычислительных парадигм.
Преимущества световых вычислений
Новые технологии могут устранить существующие узкие места. Вычисления с помощью оптики, например, могут потреблять гораздо меньше энергии, чем вычисления, основанные на электронике. А с оптикой «у вас может быть гораздо более высокая пропускная способность» или плотность вычислений, говорит Чен. Aluz передает гораздо больше информации на гораздо меньшей площади.
Однако у оптических нейронных сетей (ONN) есть серьезные проблемы. Одним из примеров является то, что они используют много энергии, потому что они неэффективны в преобразовании полученных данных, основанных на электрической энергии, в свет.
Тем не менее, используемые компоненты громоздки и занимают много места. Хотя ONN отлично подходят для линейных вычислений, таких как сложение, они не имеют такого же эффекта, когда речь идет о нелинейных вычислениях, таких как умножение и операторы «если».
Однако новый проект имеет компактную архитектуру, которая впервые решает все предыдущие задачи и еще две. Архитектура основана на современных вертикальных лазерных массивах с поверхностным излучением (VCSEL), относительно новой технологии, используемой в таких приложениях, как дистанционное зондирование LiDAR и лазерная печать.
Эти конкретные VCEL были разработаны в сотрудничестве с группой Reitzenstein в Техническом университете Берлина. Команда уже подала заявку на патент на проект.
Конечно, последнее поколение здесь еще далеко от того масштаба и стоимости, которые были бы необходимы для практически полезных устройств, но я с оптимизмом смотрю на то, что можно сделать в ближайшие годы, особенно учитывая потенциал, необходимый этим системам для ускорения. Очень дорого , крупномасштабный ИИ, подобный тем, которые используются в популярных текстовых системах GPT, таких как ChatGPT.
Логан Райт, доцент Йельского университета, не участвовавший в проекте.
По информации от Tech Xplore
Вы смотрели новые видео на YouTube цифрового взгляда? Подписывайтесь на канал!