среда, 15 марта 2023 г.

Педагогический промт-инжиниринг. Ч.1 Зачем педагогу разговаривать с ИИ?

 Предлагаю для предварительного обсуждения свою статью-компиляцию, предположительно, из 5 частей, которые буду публиковать с разницей в 1-2 дня.

Сразу отвечаем на вопрос, вынесенный в заглавие 1-й части: на наш взгляд по 3-м причинам-мотивациям:

  1. Если он хочет узнать что-то новое в смежных со своей дисциплиной областях, делает обзор литературы по теме, самообучается
  2. Если он создает свои учебно-методические материалы по дисциплине к отдельному уроку или к курсу по дисциплине в целом: учебное пособие, прочие текстово-графические материалы, презентации, тесты и задания, разного рода наглядности, онлайн-курс
  3. Если он хочет разнообразить свой учебный процесс: ввести в учебный класс элементы самообучения, самоконтроля, игровые моменты, а также получить помощь ИИ при проверке знаний, навыков своих учеников

Мы обсуждаем здесь так называемые генеративные нейросети или генеративный искусственный интеллект, базирующийся на больших языковых моделях (ЯМ или LLM). Задачи, решаемые конкретными нейросетями могут различаться: это сети, создающие изображение по текстовому запросу, их часто обозначают txt2img - сети. Сейчас начинают развиваться нейросети, создающие видео по текстовому описанию сценария, их, наверное, можно обозначить как txt2mov - сети. Наибольший хайп последнего времени это ChatGPT, который по текстовому запросу может выдать любой текстовый ответ, но также программный код, а умельцы получают и данные для визуализации.    Возможно, что будущее за так называемыми мультимодальными нейросетями. Исследователи считают, что мультимодальный ИИ, который объединяет различные режимы ввода (и вывода), такие как текст, аудио, изображения и видео, станет ключевым шагом к созданию универсального искусственного интеллекта (https://habr.com/ru/news/t/720188/). Это подтверждается тем, что только что вышедший GPT4 мультимодален – принимает на вход и картинки и текст.

Все рекомендации, промты-подсказки приведенные ниже апробированы авторами, на которых я ссылаюсь и в малой степени мною на следующих ресурсах:

Как получить к этим ресурсам доступ – это не тема данной работы. В частности, инструкции о регистрации ChatGPT в России см. здесь https://skillbox.ru/media/code/kak-poluchit-dostup-k-chatgpt-v-rossii-a-takzhe-belarusi-irane-i-vezde-gde-on-zakryt/

В процессе взаимодействия с ChatGPT возникают 2 вопроса, на которые мы попытаемся ответить в этой статье

  1. О чем может спросить преподаватель, чтобы получить небесполезный ответ
  2. Как нужно спросить ChatGPT, чтобы получить наиболее полезный ответ

На приземленном уровне с помощью генеративных моделей, умея подобрать к ним верный ключик, мы как педагоги можем:

  • Обрабатывать имеющийся иллюстративный материал и создавать свой, новый. Для этого используются генеративные модели txt2img Stable Diffusion, Midjourney и др. Но для формирования точного запроса порой привлекают и ChatGPT
  • Подобрать учебный материал для урока, лекции, занятия, презентации, глоссария. В том числе с помощью обработки учебной литературы.
  • Создать тестовые вопросы и задания как в непосредственном диалоге с ИИ, так и  из собственных текстов  
  • Сгенерировать примеры решений задач, кейсов, программного кода
  • Создавать таблицы, графики и прочую визуализацию
  • Создать и реализовать сценарий проверки знаний учащихся с помощью ИИ в компьютерном классе
  • Создавать сценарии для общения учеников с ChatGPT в формате персонализированного самообучения  
  • Автоматизировать проверку домашних заданий учащихся, в том числе на оригинальность и достоверность
  • Анализировать большие объемы информации

В подтверждении приведу мнение авторов статьи ChatGPT for Good? On Opportunities and Challenges of Large Language Models for Education Enkelejda Kasneci, Kathrin Sessler, Stefan Kuchemann & et January 2023 DOI:10.35542/osf.io/5er8f https://www.researchgate.net/publication/367541637_ChatGPT_for_Good_On_Opportunities_and_Challenges_of_Large_Language_Models_for_Education. Они выделяют следующие возможности использования LLS для преподавания:

  • Для персонализированного обучения. Учителя могут использовать большие языковые модели, чтобы создать материалы и условия для персонализации обучения своих учеников.
  • Для планирования уроков. Большие языковые модели также могут помочь учителям в создании (инклюзивных) планов уроков и мероприятий.
  • Для изучения   языка. Преподаватели   языковых классов могут использовать большие языковые модели в качестве вспомогательного средства.
  • Для исследовательской и письменной работы. Большие языковые модели могут помочь преподавателям университетских и школьных классов выполнять исследовательские и письменные задания (например, при работе на семинарах, написании рефератов и обратной связи со студентами)
  • Для профессионального развития большие языковые модели также могут помочь учителям, предоставляя им ресурсы, резюме и объяснения новых методик обучения, технологий и материалов.
  • Для оценки и анализа преподаватели могут использовать большие языковые модели для полуавтоматического оценивания работ учащихся, выделяя потенциальные сильные и слабые стороны работы, например, эссе, исследовательских работ и других письменных заданий.

Все перечисленные выше задачи на наш взгляд  можно сгруппировать в 3 направления задач для ИИ:

  1. Задачи разработки учебных материалов, включая обеспечивающие самостоятельную, персонализированную работу учащихся, учебные планы, планы уроков и т.п.  )позиции 1-7 первого и 1-4 второго списков)
  2. Проверка работ учащихся (позиции 8 и 6 в списках)
  3. Исследовательская и научная работа, профессиональное развитие преподавателя (позиции 9 и 4-5)

Почему нужно уметь разговаривать с ИИ на более доступном ему языке, с помощью так называемых промтов (подсказки, запросы), используя методы промт-инжиниринга  - «prompt engineering (PE)»? Ответов несколько. Если коротко и не влезать в излишнюю для нас теорию, то дело в том, что работа ИИ (LLM) носит вероятностный характер, а потому ИИ склонен к «фантазиям» или «галлюцинациям», т. е. к генерированию новой информации, потенциально ложной. Кроме того «оперативная память» диалога с человеком пока еще ограничена. Некоторая расшифровка этих утверждений будет приведена ниже.

Промт (подсказка, предложение, запрос) — это утверждение или вопрос, который дается ChatGPT для управления его выводом. Промт является отправной точкой для ответа ChatGPT, и его можно использовать для создания самых разнообразных выходных данных, таких как текст, диалог или творческое письмо. Итак, промт служит для того, чтобы дать ChatGPT конкретную задачу или вопрос для ответа, и его можно использовать для управления выводом.

Материал скомпонован на 3-х уровнях

  1. Теоретические положения об основах промта с LLM как таковыми
  2. Общие рекомендации для сценариев бесед с ChatGPT
  3. Конкретные примеры, актуальные для педагога


вторник, 14 марта 2023 г.

Две важные новости по ИИ: Стэндфордский чат Альпака и, конечно, Вышла GPT-4!

 Исследователи из Стэнфорда разработали новую модель искусственного интеллекта под названием Alpaca 7B, которая работает на том же уровне, что и ChatGPT от OpenAI. Исследователи достигли этого, обновив LLaMA Meta с использованием данных, сгенерированных GPT-3, что обошлось всего в 600 долларов и заняло 3 часа на точную настройку.

Это демонстрирует, что модели с открытым исходным кодом, такие как LLaMA, догоняют модели с закрытым исходным кодом, такие как OpenAI. Наличие моделей с открытым исходным кодом облегчает людям их обучение и оптимизацию для конкретных целей. Alpaca - это лишь один из многих проектов, созданных поверх LLaMA, а некоторые даже сделали его достаточно маленьким, чтобы работать на персональном ноутбуке.

О GPT4:
🔸 Модель мультимодальная (accepting image and text inputs, emitting text outputs).Теперь он умеет анализировать фото и видео, и многое другое
🔸 В течение 6 месяцев выравнивали модель инструкциями для лучшего вывода.
🔸 Подписчики ChatGPT Plus получат ограниченный доступ к GPT-4.
🔸 Для получения доступа к API нужно добавиться в waitlist (https://openai.com/waitlist/gpt-4).
🔸 Контекст модели 8,192 токенов.
🔸 Есть версия с контекстом 32,768 токенов (50 страниц текста).
🔸 Цена $0.06 за тыс. токенов.

Регулярнее новости я публикую на VK  в группе

E-learning & AI: новости и проблемы

Приходите к нам!

вторник, 7 марта 2023 г.

GPT4Moodle. ЧТО ДЕЛАТЬ БУДЕМ, КОЛЛЕГИ-E-Learning-исты?

 GPT4Moodle — это расширение браузера для Chrome, которое добавляет кнопки рядом с каждым вопросом в тестах Moodle. При нажатии кнопки ИИ отправляется запрос, и правильный ответ выделяется вместе с объяснением, почему он правильный.



Инсталляция:

  1. Клонируйте репозиторий на свой локальный компьютер, используяgit clone https://github.com/PrincTwilig/GPT4Moodle
  2. Откройте Chrome и перейдите на страницу расширений, набрав chrome://extensions/в адресной строке.
  3. Включите режим разработчика, щелкнув переключатель в правом верхнем углу страницы.
  4. Нажмите на кнопку «Загрузить распакованное» и выберите клонированную папку.
  5. Теперь расширение должно быть установлено и активировано.



ЧТО CHATGPT И ГЕНЕРАТИВНЫЙ ИИ ЗНАЧАТ ДЛЯ НАУКИ

Под таким названием Крис Стокел-Уокер, Ричард Ван Норден опубликовали в Nature 9 февраля небольшую заметку  Вот несколько полезных абзацев из нее:

Ученые говорят, что теперь они регулярно используют LLM не только для редактирования рукописей, но и для помощи в написании или проверке кода, а также для мозгового штурма идей. «Теперь я использую LLM каждый день, — говорит Хафстейн Эйнарссон, специалист по информатике из Исландского университета в Рейкьявике. Он начал с GPT-3, но с тех пор перешел на ChatGPT, который помогает ему писать слайды презентаций, студенческие экзамены и задачи курсовой работы, а также преобразовывать студенческие диссертации в статьи. «Многие люди используют его в качестве цифрового секретаря или помощника, — говорит он.
 ....
Некоторые исследователи считают, что LLM хорошо подходят для ускорения таких задач, как написание статей или грантов, если есть человеческий контроль. «Ученые больше не собираются сидеть и писать длинные предисловия к заявкам на гранты», — говорит Альмира Османович Тунстрём, нейробиолог из Сальгренской университетской больницы в Гётеборге, Швеция.

Далее довольно много неинтересных фраз про толерантность, опасность, авторское право и тп.

Вот еще из содержательного:
Можно ли устранить недостатки? (известные как "галлюцинации") 
...Некоторые инструменты поисковых систем, такие как Elicit, ориентированный на исследователей, обходят проблемы атрибуции LLM, используя их возможности сначала для направления запросов на соответствующую литературу, а затем для краткого обобщения каждого из веб-сайтов или документов, которые находят поисковые системы. вывод содержимого, на которое явно ссылаются (хотя LLM может по-прежнему неправильно суммировать каждый отдельный документ).
В конце декабря Google и DeepMind опубликовали препринт о клинически ориентированном LLM, который он назвал Med- PaLM7 . Инструмент мог отвечать на некоторые открытые медицинские вопросы почти так же хорошо, как и обычный врач-человек, хотя у него все еще были недостатки и ненадежность. 

Но значительно полезнее нам статья Грина и Пивидори, на которую в статье дана ссылка. Привожу  здесь ее перевод на русский и краткую аннотацию:
Авторы представляют новый инструмент редактирования с помощью ИИ. Рабочий процесс основан на инфраструктуре Manubot для научных публикаций [6], платформе, разработанной для реализации как индивидуальных, так и масштабных совместных проектов [7,8]. Наш рабочий процесс включает в себя разбор рукописи, использование большой языковой модели (ChatGPT) с подсказками по конкретным разделам, а затем генерирование набора предлагаемых изменений для включения в основной документ. Эти изменения представляются пользователю на рассмотрение через интерфейс GitHub. Чтобы оценить наш рабочий процесс, мы провели тематическое исследование с тремя рукописями, которые включали разделы различной сложности. Наши результаты показывают, что в большинстве случаев модели смогли сохранить первоначальный смысл текста, улучшить стиль написания и даже интерпретировать математические выражения. Наш рабочий процесс написания с помощью ИИ может быть включен в любую рукопись Manubot, и мы ожидаем, что он поможет авторам.
Приведены промты-подсказки для типовых разделов научной статьи и программное обеспечение, которое позволяет автоматизировать процесс создания и редактирования рукописи с помощью ChatGPT в среде Manubot
Когда пользователь запускает программу, рукопись разбирается по разделам, а затем по абзацам) и передается в языковую модель вместе с набором пользовательских подсказок-промтов. Затем модель возвращает отредактированную версию текста. Затем наш рабочий процесс использует API GitHub для создания нового запроса, позволяя пользователю просмотреть и изменить полученный результат, прежде чем объединить изменения с рукописью. Этот рабочий процесс приписывает текст либо пользователю-человеку, либо языковой модели ИИ, что может быть важно в свете возможных будущих юридических решений, которые изменят ландшафт авторского права на результаты генеративных моделей.
Для доступа к этим моделям мы использовали API OpenAl. Поскольку этот API влечет за собой расходы на каждый прогон, которые зависят от длины рукописи, мы реализовали рабочий процесс в GitHub Actions, который может быть запущен пользователем вручную. Наша реализация позволяет пользователям настраивать затраты в соответствии со своими потребностями, позволяя им выбирать конкретные разделы для пересмотра, а не всю рукопись. Кроме того, можно настроить несколько параметров модели, чтобы еще больше скорректировать затраты, например, версию языковой модели (включая Davinci и Curie, а также потенциально недавно опубликованные), степень риска модели или "качество" завершений. Например, при использовании моделей Davinci (наиболее сложных и способных) стоимость одного прогона для большинства рукописей составляет менее $0,50. 

суббота, 25 февраля 2023 г.

В предчувствии сильного ИИ

 Сэм Альтман (хочется написать Семен) из OpenAI опубликовал статью, в которой изложил стратегию компании по созданию AGI - сильного (общего) искусственного интеллекта. Статья написана так, что для автора AGI (системы ИИ, которые, как правило, умнее людей), если и не состоявшийся факт, то совершенно реальная цель ближайшего времени.


https://openai.com/blog/planning-for-agi-and-beyond/

В краткосрочной перспективе компания исходит из того, что
1. По мере того, как наши системы приближаются к AGI, мы становимся все более осторожными при создании и развертывании наших моделей. Хотя некоторые специалисты в области ИИ считают риски, с вымышленными; мы будем рады, если они окажутся верными, но мы будем действовать так, как будто эти риски экзистенциальны .
2. Мы работаем над созданием все более согласованных и управляемых моделей. Мы считаем важным, чтобы общество согласилось с чрезвычайно широкими рамками того, как можно использовать ИИ, но чтобы в этих границах отдельные пользователи имели большую свободу действий. Наша конечная надежда состоит в том, что институты мира договорятся о том, какими должны быть эти широкие границы
3. Мы надеемся на глобальный разговор по трем ключевым вопросам: как управлять этими системами, как справедливо распределять выгоды, которые они генерируют, и как справедливо распределять доступ.
Татьяна Шаврина из Сбера (Kali Novskaja, https://t.me/rybolos_channel/514) из этих достаточно размытых утверждений делает выводы:
— релизы новых разработок будут более закрытыми
— OpenAI будет ограничивать доступ и объем доступного компьюта разным клиентам.
В краткосрочной перспективе:
— будет постепенная выкатка технологий, с намеренным упрощением версий и "замедленным" прогрессом относительно реально достигнутого: это поможет раньше получать фидбек, тренировать системы в реальном мире, а также работать с более реактивными общественными институтами, в частности, разрабатывать новые правила.
— баланс между открытостью и потенциальным вредом может в любой момент поменяться, и это будет отражаться на всей линейке продуктов.

В долгосрочной перспективе:
— публичность разработок OpenAI будет сохраняться, чтобы у общества была возможность принятия решения.
— фокус придётся на акселерацию науки и переход к новой общественной формации.

вторник, 14 февраля 2023 г.

Хороший разговор


Очень хороший разговор о технологиях ИИ и в том числе ChatGPT. Про систему образования см. на 46:00 и 1:01:30. Но здесь оригинального мало для меня, правильнее слушать все. 

 https://youtu.be/IMP1zZ9K4Wc


Обычно не пощщу чужое, но здесь не удержался 

воскресенье, 12 февраля 2023 г.

Может ли искусственный интеллект (ChatGPT) помочь при анализе текстов?

 

Лет пять назад меня очень заинтересовали военные мемуары. Благо, есть замечательный ресурс: Милитера http://militera.lib.ru/, на котором собрано более 1000 (1012 на 01.01.2021) только мемуаров о Великой отечественной войне. Помимо исторического интереса, часто это просто захватывающее чтение. Кроме того, часть из них – хороший исторический источник, источник для собственных размышлений, обобщений и т.д. Здесь мы не всегда, но часто имеем дело  с непосредственным наблюдением – тем источником знания, который мне как первоначально физико-химику наиболее близок.

Где-то год назад во мне проснулся зуд писательства и я начал обобщать то что прочитал в этих мемуарах. Моя работа состояла из: сопоставления текстов, поиска общего и особенного (событий, отношений, дат и мест, персоналий и т.п.), формулировки гипотез и умозаключений и их проверки на основании частотности, времени, локаций и т.п., выделении наиболее характерных участков текста для иллюстрирования  обобщений и умозаключений. Что из этого получается можете посмотреть в статьях для живого журнала  https://timkinsl.livejournal.com/.

Другая моя часть достаточно живо интересуется прогрессом в сфере искусственного интеллекта и применения его технологий в образовании. А нельзя ли применить последний писк ИИ моды  ChatGPT для обработки мемуаров? Ведь каков алгоритм подготовки статей? Например, в ходе чтения мемуаров военнопленных возникает гипотеза о различиях в отношении к советским военнопленным солдат германской и союзных ей армий и штатских в зоне контактов   в зависимости от национальности последних (гипотезу об отношении к пленным в зависимости от их национальностей мы уже рассмотрели см. здесь https://timkinsl.livejournal.com/4951.html). Как можно проверить гипотезу? Например, выделить все события и отношения в которых зафиксированы как их характер (например, знак: положительный, отрицательный, нейтральный) с одной стороны, а с другой – национальность акторов. Далее можно посчитать частотность выделенного, ранжировать выделенное по силе отношений (экстремальные, умеренные и т.п.) и сделать определенные выводы по высказанной гипотезе. 

Может ли помочь ChatGPT в выделении фрагментов текстов по заданным параметрам? 

Было введено 4 фрагмента текста, который представлял собой набор предварительно отобранных частей мемуаров из списка мемуаров бывших военнопленных. Это части, где мемуаристы приводили примеры или описывали события, характеризующие отношения к советским пленным военных или гражданских лиц с однозначно установленной национальной принадлежностью: немцы (большая часть случаев), австрийцы, финны, прибалты, поляки, украинцы, казаки (сознаю, что это не национальность), швейцарцы, французы и прочие. Куски текста предлагались  ChatGPT последовательно и были разбиты на следующие объемы: 1100, 1000, 2500, 1850 слов.

Причина разбиения в том, что неизвестно какой объем текста можно задать для анализа.  При введении текста полностью (6500 слов) ответом было: не могу обработать, слишком длинный текст. В обсуждениях на Хабре утверждалось, что «Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3000 слов). За этой границей все сказанное в ходе сессии "забывается" моделью». Это утверждение относится ко всей беседе-сессии. Оно оспаривалось в дискуссии, утверждалось, что объем связной и последовательной дискуссии может быть больше.  В то же время не очень понятно, каков может быть объем единичного запроса.

Сам ChatGPT на вопрос: «Какой максимальный запрос ты сможешь обработать?» ответил: «Как языковая модель, максимальный запрос, который я могу обработать, зависит от размера входных данных и доступных вычислительных ресурсов для их обработки. …. Точный размер входных данных, которые я могу обработать, определяется множеством факторов, таких как сложность запроса, объем доступной памяти и вычислительных ресурсов, а также ограничения, накладываемые API или платформой, на которой я работаю. Однако в целом можно с уверенностью сказать, что я могу обрабатывать запросы в несколько сотен слов и более, если они хорошо сформированы и не выходят за рамки того, на чем я обучался».

Несколько сотен слов это немного, мы начали с 1000 и затем увеличили объем. Забегая вперед, надо ответить, что по предварительным ощущениям при фрагменте около 1000 слов  ChatGPT обрабатывает весь текст, а для фрагментов в 1850 и 2500 вероятны пропуски последних фрагментов

Сам промт и вводимый текст был переведен на английский язык переводчиком DeepL. Полученные ответы на английском переводились на русский тем же переводчиком. Необходимость перевода диктовалась тем, что собственный опыт и рекомендации других пользователей говорят, что для русского языка ответы получаются менее качественные и полные.  Хотя в статье https://habr.com/ru/post/715492/ утверждается, что «запросы можно писать на русском (он хорошо понимает), а вот ответы просить давать на английском», даже в этой сессии, ввод на русском как минимум приводил к отказу ответа на более коротком тексте.

Промт-запрос приведен ниже:

Обращаюсь к вам за помощью в обработке текстов воспоминаний советских военнопленных.

Выберите из приведенного текста все случаи 1) доброго; 2)жестокого обращения с пленными:

1. Немцы

2. представители других народов

И приведите эти цитаты в своем ответе с указанием номера источника, из которого они взяты. Номер источника указывается перед его названием. Также не забудьте подчеркнуть и выделить, какой национальности был солдат или другой человек в выделенной ситуации.

Вот первый текст, который нужно обработать

Промт повторялся при вводе каждой из четырех частей текста. Этот порядок также рекомендуется при работе с ChatGPT чтобы ограничить его «стремление к фантазированию и собственному творчеству».

Текст и комментарии к нему можно посмотреть в моем живом журнале по адресу:

https://timkinsl.livejournal.com/6071.html#t5815

Что еще можно добавить  про работу ChatGPT с подобной задачей:

1.       ChatGPT склонен давать собственные оценки и умозаключения, особенно, если ты просишь продолжить ответ. В этом случае он может даже выдать цитату, которой нет в исходном тексте. В частности, вторая цитата не очень коррелирует с  текстом Ю. Владимиров.  Причем трудно сказать, сформулировал ли ChatGPT ее сам или обратился к первоисточнику в недрах своего «архива» (если он есть)

2.       Тексты и цитаты  сокращаются, но без изменения смысла. То есть автореферирование осуществляется достаточно корректно

3.       Не всегда придерживается одной и той же формы представления результатов от ответа к ответу. Форму в промте надо задавать максимально подробно и точно

4.       Порой выходит за рамки задачи запроса. Несмотря на то, что запрос был на выделение фрагментов жестокого обращения с пленными,  ChatGPT делает несколько обобщений  на доброе или неоднозначное отношение к пленным австрийцев, румын (это 1944 год и пленный –летчик) и поляков (см. последние фрагменты).

Общие выводы:

1.       ChatGPT понимает тексты, понимает промты, его можно привлекать к обработке текстов, выделению из текста событий, отношений, маркированию событий временем, местом, источником. При этом пользователь может обходиться естественным языком для формулировки запросов и не быть специалистом и носителем «языка компьютерных лингвистов»  

2.       В то же время та форма чата, которая доступна сейчас мало приспособлена к подобным задачам: текст нужно «скармливать» слишком малыми частями – это главное, имеет место языковое неравенство русский-английский, чат даже при наличии текста имеет тенденцию к «самодеятельности».

3.       Очевидно, что принципиально эти недостатки не являются неустранимыми и может быть создан удобный инструмент для подобных исследований

И в заключение хотел бы обратиться к заинтересованным в подобных исследованиях коллегам: подскажите, может есть другие пути обработки большого количества и больших объемов письменных текстов уже имеющимися инструментами   

Такой инструмент может быть востребован:

•                    в сфере науки:  для проведения мета-анализа статей, литературного обзора и т.п.

•                    в гуманитарике: при обработке источников разного рода

•                    в литературе: подготовка к написанию эпических полотен типа «Красного колеса» Солженицына