Профессора колледжей не могут поймать студентов на обмане с помощью ИИ

Профессора колледжей не знают, как поймать студентов на обмане с помощью ИИ.
Лео Голдсмит, ассистент профессора исследований кино в Новом колледже, может определить, когда вы используете ИИ для обмана на задании. Но доказать это не так просто. "Я знаю много примеров, когда преподаватели, и я тоже сталкивался с этим, получают задание от студента и думают: 'Это явно сделано с помощью ИИ', но у них нет" никакого простого способа это доказать, — говорит Голдсмит. "Это относится ко всем видам обмана: сам процесс требует много усилий, и если целью является исключение студента из учебного заведения, то очень немногие готовы за это взяться.
Вот что лежит в основе проблемы: мои студенты используют ИИ для обмана, а я почти ничего не могу с этим сделать. Когда я спросил одного профессора, который пожелал остаться анонимным, как он ловит студентов на использовании ИИ, он ответил: "Я не ловлю. Я не полицейский." Другой профессор сказал, что это выбор студентов - хотят ли они учиться в классе или нет.
ИИ — это относительно новая проблема в академической среде, и преподаватели не очень подготовлены к ее решению. Несмотря на быстрое развитие инструментов ИИ, таких как ChatGPT, большинство профессоров и образовательных учреждений по-прежнему полностью неподготовлены, как технически, так и культурно, к выявлению обмана с помощью ИИ, в то время как у студентов все больше стимулов его использовать.
Пэтти Мачелор, профессор журналистики и письма в Университете Аризоны, не ожидала, что студенты будут использовать ИИ для обмана. Она обучает студентов на продвинутых курсах, предназначенных для тех, кто хочет развивать свои навыки письма. Однако когда один из студентов сдал ей работу, явно написанную ИИ, она не поняла этого сразу; она просто знала, что это не работа студента. "Я посмотрела на это и подумала: боже мой, это плагиат?" , — рассказала она.
Работа явно не была написана студентом, с которым она хорошо познакомилась. И она не соответствовала журналистским стандартам курса; напротив, она больше напоминала исследовательскую работу. Затем она прочитала это вслух своему мужу. "И мой муж тут же сказал: 'Это искусственный интеллект'", — сказала она. "Я такая: 'Конечно.'"
В итоге, она сказала студенту попытаться еще раз. Она предоставила ему дополнительное время. И тогда второй черновик тоже пришел, по-прежнему с присутствием ИИ. Студент даже оставил некоторые подсказки. "[ИИ] не был у меня на радаре", — сказала Мачелор, особенно для тех типов продвинутых курсов, которые она преподает. Хотя это был ее первый опыт, это ее потрясло. "Студенты, использующие этот инструмент, имеют несколько причин: во-первых, они просто перегружены. Во-вторых, он стал им привычным. И в-третьих, они не увлеклись своей жизнью, своими мыслями и креативностью. Если вы хотите стать журналистом, это сердце и душа профессии."
Мачелор — не единственный профессор, сталкивающийся с заданиями, написанными ИИ. Ирен Маккисон, адъюнкт-профессор в Университете Аризоны, ведет один онлайн-курс по социальным медиа и другой курс в классе по редактированию. Из-за характера очного курса у нее не было существенных проблем с использованием ИИ, но в ее онлайн-курсе его использование стало массовым. "Это чувствовалось как болезнь", — рассказала Маккисон. "Видишь несколько случаев, а потом вдруг происходит вспышка. Это именно так ощущается."
Так что бы сказала Маккисон студентам, использующим ИИ для обмана? "Во-первых, вы записались на курс", — говорит она. "Во-вторых, вы оплачиваете этот курс. В-третьих, это то, что вам действительно нужно знать, чтобы иметь возможность получить работу. Если вы просто передаете работу на аутсорсинг, какая польза для вас?"
Несмотря на то, что существуют детекторы ИИ, они ненадежны, оставляя профессорам мало инструментов для однозначного определения написанного ИИ текста. Эта технология новая, значит, и детекторы тоже новые, и у нас нет много исследований о их эффективности. Тем не менее, одна статья в Международном журнале академической целостности показывает, что "инструменты проявляли несоответствия, давая ложные положительные результаты и неопределенные классификации." И, как и большинство технологий, результаты меняются в зависимости от множества переменных. Например, исследование в области вычислений и языка, проведенное Центром учебного мастерства Университета Канзаса, показывает, что детекторы ИИ с более высокой вероятностью маркируют работы не носителей английского языка, чем работы носителей. Авторы выступали "против использования детекторов GPT в оценочных или образовательных обстановках, особенно при оценке работы не носителей языка."
Как сказал Голдсмит, обычно можно определить, написано ли что-то ИИ, — просто очень сложно это доказать.
Конечно, технологии могут быть и проблемой, и решением — технологии сражаются с технологиями. После того как стартап по борьбе с обманом с помощью ИИ Cluely стал вирусным, другие стартапы начали гонку, чтобы создать инструмент, который мог бы надежно обнаружить Cluely, например Truely и Proctaroo.
Пол Ванн, соучредитель Truely, сказал, что "все больше и больше людей беспокоятся" о ИИ и обмане. "Люди не знают, как справляться с этой проблемой, потому что она нова, она создана для скрытия, и, честно говоря, она хорошо справляется со скрытием своих следов." Truely, утверждает он, это обнаруживает.
Обе платформы Truely и Proctaroo могут определить, работает ли система ИИ в фоновом режиме, но даже их создатели признают, что эти инструменты не являются универсальными решениями. Что если задание ИИ — это эссе, которое сдано в печатном виде? Это немного сложнее.
Поскольку ИИ становится все более совершенным, обнаружение всегда может отставать — реальный ответ может заключаться в переосмыслении того, как мы создаем оценки, а не только в том, какого рода контроль нам необходим над студентами.
Безусловно, есть студенты, которые используют ИИ именно для обмана. Но поскольку использование генеративного ИИ в учебных заведениях такое новое, также трудно понять, что считается "обманом". Является ли использование проверок правописания обманом? Является ли использование ИИ для мозгового штурма обманом? Где проходит черта?
"Я заметила, что профессора начали включать заявления о использовании ИИ в свои учебные планы, — рассказала Сара Альяви, аспирант по психологии и создатель контента в @psychandeducation. — Некоторые совершенно против этого, тогда как другие говорят: «Что ж, его можно использовать, но имейте в виду, что результаты часто бывают низкого качества, и помните о политиках по плагиату."
Но учреждения отстают. Часто нет унифицированных политик или обучения для профессоров. Например, рекомендации Гарварда по пересечению генеративного ИИ и академической целостности говорят лишь о том, что конкретные школы должны разрабатывать и обновлять свои политики "по мере того, как мы лучше понимаем последствия использования генеративных инструментов ИИ".
"Между тем, преподавателям следует четко разъяснить студентам, что они обучают и консультируют, свою политику о допустимых способах использования генеративного ИИ на занятиях и в академической работе. Студенты также поощряются задавать своим преподавателям вопросы о разъяснении этих политик по мере необходимости", — гласит руководство.
Руководства по ИИ Йельского университета и Университета Аризоны, например, выглядят примерно так же, оставляя учителям тяжелую задачу решить, что делать с ИИ в своих классах.
"Это вопрос академической свободы", — говорит Маккисон. "Ваш профессор имеет право преподавать свой курс так, как ему нужно. Это закреплено в культуре академического мира, что я считаю неплохим."
Полезно иметь руководство, говорит она, и школы предоставляют некоторую из этой помощи. Но что они не предоставляют, так это практические рекомендации о том, как эффективно выявлять и бороться с обманом с использованием ИИ. Маккисон, Мачелор и Голдсмит все добавили строки в свои соответствующие учебные планы, сообщая студентам, что они не могут использовать ИИ для выполнения заданий, но все они должны были самостоятельно находить эту формулировку. Маккисон, со своей стороны, обнаружила правильную формулировку на "реддит-теме" профессоров со всей страны, которые обсуждали эту проблему.
"Там было целое обсуждение о рубриках, и я была как: 'О боже! Это именно то, как можно это ограничить, применив оценки к тем, кто использует ИИ, чтобы они получили ноль', — сказала она. "[Студенты] будут продолжать это делать, пока не будет негативного последствия."
В результате всей этой неопределенности некоторые преподаватели пришли в панику из-за эпидемии обмана студентов, для которой нет четкого лекарства. Технологии развиваются быстрее, чем политика, и для учебных заведений трудно поспевать за теми инструментами ИИ, которые используют студенты. Это создает путаницу как для студентов, так и для профессоров. Как гласит руководство Университета Аризоны, "студенты, возможно, не осознают, что политики ИИ могут и будут варьироваться между курсами, секциями, преподавателями и факультетами, поэтому выделите время, чтобы помочь им понять и соблюдать различные политики."
Альяви говорит, что она использует ИИ для некоторых чтений, загружая PDF-файлы и спрашивая ИИ о резюме, ключевых выводах и точках обсуждения, что экономит ей «много времени, потому что я могу быстро читать статьи и не тратить время на повторные чтения перед занятием, чтобы иметь четкие идеи для обсуждений в классе." Для написания она может использовать ИИ для вдохновения или если застряла на переходном предложении. "Конечно, если я использую что-либо сгенерированное, я переписываю это своими словами, потому что результаты звучат роботизированно и обобщенно", — добавила она.
Для некоторых профессоров все намного проще.
"Если вы используете ИИ, чтобы написать работу за вас, то, конечно, я бы считал, что это обман", — сказал Голдсмит. "Но обман — это мягкое слово. Это просто бессмысленно. Это пустая трата огромного количества денег, которые студенты платят или накапливают как долг, в некоторых случаях долгов, которые тянутся всю жизнь. Но это также не ведет ни к чему. И для преподавателя это очень легко заметить."
Неделя экзаменов, и вы смотрите в бездну отчаяния. На протяжении следующих двух дней вам придется написать три эссе, сдать один онлайн-тест и пройти один финальный экзамен в формате множественного выбора в классе. У вас есть проект. У вас есть незаконченные задания, которые нужно сдать. Вам нужно поддерживать свою успеваемость, иначе вы попадете в академическую пробацию. Часов в неделю не хватает как для успеха, так и для сна, но генеративный ИИ мог бы написать ваши три эссе, сдать тот онлайн-тест и подготовить карточки для вашего финального в формате множественного выбора быстрее, чем вы сможете сделать ужин. И вы знаете, что ваши профессора не смогут вас поймать, потому что для этого нет простого способа доказать, что ChatGPT написал ваше эссе.
Для студентов, сталкивающихся с академическим и финансовым давлением, ИИ может показаться скорее инструментом продуктивности, чем обманом. И, конечно, все остальные тоже его используют.
Сможете ли вы избежать этого соблазна?
Альяви может, в большинстве случаев. Ей нравятся предметы, которые она изучает, и она действительно хочет учиться, и она понимает, что ИИ не может это воспроизвести. В то же время она говорит, что понимает побуждение "студентов, которые сталкиваются с ИИ в школе или колледже" использовать ИИ или полагаться на него. Она рада, что прошла десять лет академического обучения без него.
"Я также очень уважаю время и намерение моих преподавателей, которые прилагают усилия для создания заданий с целью содействия обучению студентов, и я думаю, что опираться на ИИ не будет уважением к их тяжелой работе и также лишит меня обучения, — сказала Альяви.
Как говорит Голдсмит, "целая цель" образования "— это учиться." Если использование ИИ мешает вам учиться, стоит задать другие вопросы.
"Трудная работа по написанию и сложная работа по чтению и обсуждению — это и есть вся суть образования", — говорит Голдсмит. "Это не чтобы узнать факты." Голдсмит, который преподает исследования кино, признает, что его студенты, в основном, ненавидят использование ИИ в искусстве. Но это не останавливает их от его использования при выполнении заданий. Почему? "Потому что писать — это сложно."
"Писать — это адская боль", — сказал он. "Никто не любит писать. Вы писатель. Я писатель. Нам не нравится писать."
Для некоторых преподавателей колледжей более углубленный акцент на педагогике — это путь вперед. Больше письменных работ в классе, больше устных работ, больше итеративных черновиков, больше тестов на бумаге, а, может быть, даже поощрение использования ИИ для конкретных аспектов заданий.
Иронично, что наиболее эффективный способ, который Маккисон нашла для ограничения использования ИИ, — это, собственно, использовать ИИ.
"Я на самом деле ввела все наборы своих вопросов для обсуждения на весь семестр в ChatGPT и попросила его помочь мне, насколько это возможно, сделать их защищенными от обхода ИИ", — сообщила Маккисон. И это сработало. Теперь ее студенты должны отправлять скриншоты постов в социальных сетях и предоставлять цитаты и другие работы, которые ChatGPT не может сделать особенно хорошо. После введения этих изменений меньше студентов откровенно использовали ИИ, и она была менее расстроена.
Или, может быть, стоит подумать о том, какова истинная ценность образования. Голдсмит отмечает, что если образование действительно просто "ценится сейчас как кусок бумаги, за который вы тратите много денег", возможно, нам стоит немного поразмышлять.
"Неизбежно, что ИИ будет использоваться и будет использоваться продуктивно во многих областях", — говорит Голдсмит. "Но это давление может понадобится сопротивления. Кто на этом выигрывает? И почему?"
А как говорит Маккисон, ответы не могут быть исключительно наказанием студентов, использующих ИИ, и притворяться, что его не будет в ближайшее время. Она подходит к обучению как к "партнерству" между преподавателем и студентом, и использование ИИ заставляет педагогов "переосмыслить, как мы обучаем и какие соглашения о партнерстве у нас есть."
"Мой более широкий вопрос заключается в том, как redesign высшее образование?" — говорит Маккисон. "Мы не решим это сегодня... Но так, как мы спроектировали большую часть высшего образования, особенно онлайн-форматы, не будет работать, потому что это слишком просто, дешево и выгодно использовать инструменты ИИ."

Дисклэймер: Зифф Дэвис, материнская компания Mashable, в апреле подала в суд на OpenAI, утверждая, что она нарушила авторские права Зифф Дэвис в процессе обучения и эксплуатации своих систем ИИ.