Может ли ChatGPT стать соавтором исследования?

Развитие сложного искусственного интеллекта (ИИ) повлияло на многие отрасли, от развлечений до медицины, и научные исследования не являются исключением.

Финансирующие агентства уже принимают строгие меры против использования ИИ, генерирующего текст, такого как ChatGPT, для экспертной оценки, ссылаясь на непоследовательность анализа, производимого этими алгоритмами, непрозрачность их моделей обучения и другие проблемы.

Читать далее:

Ответ – нет, но что это может быть?

• По мнению двух профессоров Университета Джорджа Вашингтона, постоянно развивающиеся возможности больших языковых моделей (LLM) заслуживают тщательного изучения и осторожного оптимизма (через Tech Xplore).
• К таким моделям относятся ChatGPT от OpenAI, LlAMA2 от Meta и BARD от Google.
• Джон Пол Хелвестон и Райан Уоткинс говорят, что, по их мнению, программы магистратуры имеют потенциал для оптимизации и улучшения аспектов научного метода, тем самым позволяя проводить больший объем полезных и интересных исследований.
• Однако, чтобы использовать их таким образом, людям необходимо лучше понимать, что могут и не могут делать эти алгоритмы, какие стандарты/нормы использования ИИ существуют в их дисциплине и как их наиболее эффективно использовать.
• С этой целью Хелвестон и Уоткинс совместно управляют онлайн-хранилищем под названием «LLM in Science».
• Этот репозиторий предоставляет записи и ресурсы для ученых и преподавателей, которые изучают потенциал этой технологии как инструмента исследования.

Весной прошлого года Джон сказал что-то проницательное о том, как люди могут использовать LLM как часть своего научного рабочего процесса, и я сказал: «Что ж, нам следует начать собирать информацию о том, как это происходит, и выяснить, какие нормы и стандарты того, как мы используй их’.

Райан Уоткинс

Потенциал отличных языковых моделей

LLM обучаются на огромных наборах данных распознавать шаблоны, такие как вероятные связи между определенными словами, вероятность того, что определенные группы слов связаны с конкретными предметами, и использовать вероятности, полученные на основе этих шаблонов, для прогнозирования ответов на сделанные запросы. Пользователь.

Эти алгоритмы предсказывают не только то, какие слова и фразы использовать, но и последовательность, в которой эти слова и фразы должны следовать друг за другом, что приводит к «человеческим» ответам.

ChatGPT-3, который появился в 2022 году с большим успехом, был обучен на более чем 570 ГБ данных, что эквивалентно 300 миллиардам слов. С самого начала своего сотрудничества в качестве наставников факультета GW Coders Хелвестон и Уоткинс осознали, что потенциал LLM выходит за рамки простого излияния данных.

Фактически, эти программы могут сэкономить огромное количество времени и энергии в тех частях работы ученого, которые не требуют человеческого творчества или сотрудничества: стандартный язык, составление заявок на гранты, создание «виртуальных данных», на основе которых можно построить аналитический инструмент. обучение и многое другое.

Роль LLM в науке

Ресурсы, доступные в программе «LLM in Science», включают, среди прочего:

• Развивающийся список возможных научных применений LLM;
• Учебники по использованию LLM;
• Руководство для рецензентов, оценивающих исследования с использованием LLM;
• База данных исследований по использованию LLM исследователями в разных областях.

Эти знания необходимы не только для воспроизводимости научных исследований, в которых используются LLM, но и для правильной оценки того, когда эти инструменты следует или не следует использовать.

Тем не менее, у них есть существенные ограничения, как продемонстрировал Хелвестон в первый день занятий по программированию в прошлом году, когда он открыл ChatGPT и позволил ему работать в реальном времени для своих учеников. Хелвестон сначала попросил алгоритм перевести предложение на русский язык, что-то вроде «Добро пожаловать в класс, и давайте проведем хороший семестр».

Он спросил своих учеников: кто-нибудь из вас говорит по-русски? Нет? Ну а вы бы прочитали это предложение вслух русскоязычному? Если бы они это сделали, были бы они абсолютно уверены в его точности? Ответ был очевиден для любого, кто знаком с недостатками машинного перевода: вероятно, нет.

Затем Хелвестон попросил ChatGPT написать компьютерную функцию с определенными атрибутами, которая давала бы определенные результаты. Он снова спросил своих студентов: поверят ли они, что этот код сделает то, что он должен делать? Они бы не поверили.

В этом суть этого курса, сказал Хелвестон: точно так же, как уроки русского языка учат их распознавать ошибки в плохом переводе, этот урок программирования научит их читать язык, на котором написаны программы, и выявлять ошибки.

Инструмент бесполезен, если вы не знаете язык, и [os alunos estão] здесь, чтобы выучить язык.

Джон Пол Хелвестон

ChatGPT и академические проблемы

Преподаватели выразили понятную обеспокоенность по поводу ChatGPT, который, по мнению некоторых, может увеличить академическую нечестность. Однако Хелвестон и Уоткинс говорят, что, по их опыту, если студентов научат, как и когда использовать LLM в качестве инструментов обучения, они действительно смогут учиться лучше.

В количественном отношении Хелвестон заявил, что его ученики показали лучшие результаты на экзамене по рукописному программированию в том семестре, когда он представил ChatGPT в качестве учебного пособия, чем в предыдущие годы.

«Я считаю, что, как минимум, у каждого профессора в этом курсе должен быть раздел об ИИ и о том, как он будет и не будет использоваться», — сказал Уоткинс. «Это будет варьироваться в зависимости от класса и предпочтений преподавателей, но мы, преподаватели, должны решать эту проблему с нашими студентами, и я не могу придумать ни одного курса, где это не было бы актуально».

«Мы пока не знаем, изменит ли это способ обучения студентов», — сказал Хелвестон. «Мы хотим научить студентов пользоваться этими инструментами, потому что [a IA é] будущее того, как будут выполняться определенные задачи. Но мы также хотим, чтобы они знали, как подвергать сомнению результаты».

Вы смотрели наши новые видео на YouTube? Подпишитесь на наш канал!