Недавно
на ИноСМИ опубликовали перевод статьи в The Washington Post «Преподаватели
обеспокоены: ученики обязательно приспособят новоявленный чат-бот ChatGPT для
списывания. WP: чат-бот ChatGPT на основе ИИ дает продуманные и развернутые
ответы на разные запросы». Перевод можно посмотреть здесь https://inosmi.ru/20230115/obschestvo-259624390.html,
но на мой взгляд более интересна не
статья, а пока не переведенное обсуждение ее американскими преподавателями в
исходнике: https://www.washingtonpost.com/education/2022/12/28/chatbot-cheating-ai-chatbotgpt-teachers/.
Публикую некоторые интересные ветки и
посты
1. Вот ветка, в которой компьютерный
лингвист пишет, что можно отличить текст, написанный ChatGPT, от текста студента. И его компания уже имеет
готовое решение. Правда «на данный момент это коммерческое решение для бизнеса
и недешевое (читай - не предназначенное для потребителей)».
·
Это легко разрешимо. ИИ основан в основном на
лексическом анализе. Все, что нужно поставщикам программного обеспечения для
письма с искусственным интеллектом (вычислительная лингвистика), — это
проанализировать предыдущие образцы письма от студентов и сравнить с новыми
материалами… Те из нас, кто работает в области компьютерной лингвистики, читают
эти статьи и качают головой над всей этой драматизацией и страхом перед
проблемой, которая может быть легко решена с помощью того программного
обеспечения, которое мы разрабатываем и используем каждый день в нашем
профессиональном мире.
А учителя ему жалуются и возражают:
• Таким образом, кто-то получает
прибыль от продажи инструментов, позволяющих мошенничать, а кто-то другой
получает прибыль от продажи инструментов, чтобы попытаться предотвратить
мошенничество. И все в мире правильно. Потому что здесь можно получить прибыль.
Понял.
• Я ожидаю, что богатые школы смогут
позволить себе всю эту технологию. И, как это происходило в течение последних
40 лет, это оставит без внимания большинство школ. Просто еще один клин между
богатыми и бедными в этой стране.
• Итак, вы предполагаете, что школы,
которым и без того отчаянно не хватает ресурсов, должны покупать
"недешевое" программное обеспечение для искусственного интеллекта,
чтобы обнаруживать мошенничество, поддерживаемое программным обеспечением для
искусственного интеллекта?
• Я предвижу множество споров между
учениками и учителями о том, имело ли место мошенничество, и никто из
авторитетных лиц не сможет разрешить этот спор. ...Даже если предположить, что
школы найдут на это деньги (вероятно, сократив финансирование существующих
школьных программ), я вижу, как это обсуждается на собраниях родителей: "Как
ты смеешь обвинять моего ребенка в обмане! Все потому, что так говорит какое-то
программное обеспечение? Как ты смеешь!"
• Если программа искусственного
интеллекта может использовать образцы письма студента, чтобы обнаружить
мошенничество, может ли программа искусственного интеллекта использовать
образцы письма студента, чтобы имитировать его стиль письма?... Компании могут
легко предложить искусственный интеллект, который также читает некоторые
предыдущие работы студента и включает эмуляцию стиля в написанное им эссе
• Где вы собираетесь взять
достаточное количество образцов работ студентов, которые, как вы уверены, они
написали сами?
• Но если студент использует его, то
предварительных образцов написания не будет!
• Ну, конечно! Сделайте профессоров
зависимыми от программного обеспечения искусственного интеллекта для оценки
работ студентов, зависящих от программного обеспечения искусственного
интеллекта. Давайте просто перейдем к финальной игре, где ни один человек на
самом деле ничего не знает, а системы искусственного интеллекта оценивают друг
друга.
2. В других ветках обсуждаются другие решения, основанные на изменениях в организации учебного процесса и высказывается ряд идей
2.1. Самое популярное решение на
данный момент — это вернуться к тому, чтобы ученики писали свои ответы от руки
в «синих тетрадях» (blue notebooks) во время уроков:
·
Кажется, пришло время тем из нас, кто писал
эссе на уроке в синие тетради, рассказать об их полезности. Да, для оценки этих
заданий требуется больше времени - но, несомненно, именно за это нам платят
·
Как учитель английского языка, я перейду на
более своевременные эссе в классе без доступа к технологиям - все они будут
написаны от руки.
А вот возражения:
·
Я согласен с тем, чтобы ученики выполняли
часть своих письменных работ в классе, но у них нет возможности делать все это
в классе. Не хватит времени на объяснения.
·
Мысль о чтении / оценке сотен рукописных эссе?
Фу! Нам нужно будет вернуться к обучению чистописанию - смахните пыль с вашего
экземпляра рукописного ввода без слез.
Некоторых ужасает это решение, так как
требует письма «от руки»:
·
Удачи в чтении почерка целого поколения,
которое выросло без необходимости писать что-либо от руки.
·
Пожалуйста, имейте в виду, что учащимся с
дисграфией или просто слабой мелкой моторикой будет трудно написать хорошее
рукописное эссе в условиях нехватки времени, даже если они хорошие писатели.
·
Они потребуют, чтобы учащиеся писали статьи от
руки или во время занятий, когда за ними можно следить. Как специалист с
ужасным почерком, я хотел бы надеяться, что школы смогут предоставить
изолированные терминалы без доступа в Интернет, и, по крайней мере, с функцией проверки
орфографии…. Хотя я поддерживаю эссе, написанные в классе, нужны способы
выполнить их без того, чтобы почерк и орфография повлияли на оценку. Изолированные
компьютеры с единственной проверкой орфографии в помощь будут работать.
2.2. Другое решение
·
Один из способов обойти ответы чат-бота -
потребовать от студентов указывать соответствующие номера страниц из
назначенных текстов как часть их написания. Я повозился с ботом и не смог
заставить его это сделать, так что подозреваю, что это сработает. В любом
случае, я использовал это требование в течение многих лет, потому что это
хорошая практика поиска.
·
Мы можем потребовать от студентов ответить на
вопрос "почему": откуда вы знаете то, что вы знаете? Откуда вы
знаете, что ваш ответ правильный? Какие именно доказательства вы использовали?
И мы можем потребовать от студентов установить личную связь: о каком событии в
вашей собственной жизни напоминает вам это литературное произведение? Опишите
событие в деталях и объясните природу связи. Доказательства метапознания не
могут быть подделаны.
И
сразу возражение
• Требование
цитирования действительно помогает ограничить мошенничество, и это должно
помочь с ответами ботов. Но если вы работаете с литературой, обычно существует
множество изданий / переводов для изучаемых текстов. Довольно много студентов
просто отказались использовать версии, которые мне требовались (где я мог
следить за правильным цитированием), даже если они были доступны им бесплатно
через библиотеку.
2.3.
Еще одно решение спросим у самого искусственного интеллекта::
·
У ChatGPT были свои собственные идеи по поводу
решения. На вопрос о том, как противостоять возможности мошенничества, бот
предложил несколько предложений: рассказать студентам о последствиях
мошенничества, сдать экзамены проктору, сделать вопросы более сложными, оказать
студентам необходимую поддержку, чтобы они не видели необходимости обманывать.
3.
Я бы разделил всех участников обсуждения на следующие группы:
3.1.
Есть оптимисты, которые не верят, что ИИ может дать правильный ответ на их
задания:
·
Из того, что я видел об этом инструменте до
сих пор, он создает текст такого уровня, который я узнаю в своем классе как
"то, что пишут учащиеся, когда они прочитали три четверти вопроса и пишут
с целью пополнить количество слов".
·
Мы говорим здесь о ChatGPT или GPT-3, которые
плохо разбираются даже в трехзначной математике или не могут правильно
рассуждать о том, что однопроходные - это млекопитающие, откладывающие яйца, то
есть материал из средней или старшей школы. Он задохнется от самых простых
наборов задач по математике и естественным наукам на уровне колледжа.
Я бы не был столь оптимистичен. Даже если
некоторым кажется, что сейчас уровень ответов ChatGPT низок (что не всегда верно), очень
скоро ответы будут лучше.
3.2.
Достаточно оптимистов другого вида:
·
письмо, созданное с помощью искусственного
интеллекта, скоро станет просто еще одним инструментом.
·
Я достаточно стар, чтобы помнить, когда
проверка орфографии считалась мошенничеством. Я также достаточно стар, чтобы
помнить времена, когда почерк считался важным навыком для изучения. Теперь вы
думаете, что мы должны запретить новые технологии, но, очевидно, сохранить
старые. Интересно, что будет новым и "мошенническим" через 20 лет,
когда станет очевидным, что студентам следует разрешить использовать chatGPT,
поскольку это не мошенничество, а скорее полезный инструмент?
·
учителям придется "возвращаться" ко
все более «человеческим» способам оценки обучения: синие книги, может быть (и,
черт возьми, требуют скорописи)... но также индивидуальные проекты,
междисциплинарные постановки и сократические дискуссии. (возможно, бот мог бы
помочь оценить запись обсуждения, чтобы подчеркнуть вовлеченность и вклад
учащихся, распечатать стенограмму с анализом ...), предоставив учителю
возможность полностью участвовать, а не ставить оценки на месте.
·
Я не учитель, но в моей профессиональной жизни
критическое мышление и умение писать были важнейшими навыками. Мне интересно, могут
ли домашние задания, эссе заключаться в критическом анализе ответа бота? Мы
соединим лучшее из обоих миров (естественный и искусственный интеллект). Знания
студента потенциально могут быть подкреплены ответом бота, но тогда студент должен
определить, что имеет смысл, а что нет, и отстаивать свою позицию.
3.3.
Это утверждение я бы назвал реалистичным, умеренным пессимизмом
• на
самом деле никто не ожидает оригинальных идей от студентов, не говоря уже о
старшеклассниках. Они пишут все эти эссе не для того, чтобы осветить мир своими
блестящими инновационными идеями. Оценка на этих уровнях заключается в том,
чтобы они доказали, что освоили некоторые очень базовые вещи, которые уже знает
профессор, что они заслуживают диплом, который им вручат, когда они выпустятся.
3.4.
Но есть и законченные пессимисты:
·
Когда жульничество стало настолько
повсеместным явлением во всей жизни, что почти ничего не значило для тех, кто
этим пользуется, кажется почти странным пытаться придерживаться требования,
чтобы студенты представляли честную работу. Это какой-то пережиток
•
Что, вероятно, произойдет, так это то, что
домашнее задание не будет иметь никакого значения для итоговой оценки, и
огромное значение будет придаваться экзаменам, проводимым лично в классе, и
итоговым экзаменам (для тех школ, которые все еще благоразумно их проводят). … Это
следует настоятельно подчеркнуть студентам заранее.
·
Реальные ответы могут включать устные
экзамены, написанные от руки по времени эссе в классе и другие методы старой школы. Но это не
помогает при выполнении заданий, которые у меня есть для моих аспирантов, где
курсы могут включать пару исследовательских работ объемом 5000 слов или более.
Их и так трудно оценить. Когда в игру вступает какой-нибудь текстовый генератор
искусственного интеллекта, обнаружить обман становится еще сложнее.
Комментариев нет:
Отправить комментарий