вторник, 19 апреля 2022 г.

7 апреля 2022 г. OpenAI представил информацию о второй версии DALL·E 2

 Эта новая модель может создавать реалистичные изображения и рисунки из описания на естественном языке. В сравнении с 1-м вариантом:

  • DALL·E 2 генерирует более реалистичные и точные изображения с 4-кратным увеличением разрешения. DALL·E 2 предпочтительнее DALL·E 1 из-за совпадения подписей (в 72% случаев сравнения) и фотореализма (в 89%). В тесте 1000 поколений изображений каждой модели. Результат получается быстрее и в размере 1024×1024 пикселей вместо 256×256 пикселей.
  • Помимо генерации «с нуля» DALL·E 2 может вносить реалистичные изменения в существующие изображения на основе текстовых поправок. Он может добавлять и удалять элементы в выбранной области исходного изображения, учитывая тени, отражения и текстуры.
  • DALL·E 2 может брать изображение и создавать различные его вариации, вдохновленные оригиналом. Например, «перерисовать» картину известного художника. Пользователи также смогут смешивать два изображения, чтобы получить третье.

Как можно использовать подобный инструмент в обучении? Ну, например, при изучении языка, в упражнениях подобных этому: "опиши эту картинку в одном приближении" и оценка - по степени близости к исходнику.

Подробнее смотри здесь 

четверг, 14 апреля 2022 г.

Что такое (AI)-generated media или персонажи, созданные искусственным интеллектом?

 

Отслеживая применения искусственного интеллекта в образовании, я обратил внимание на те возможности, которые позволяют создавать учебно-методические продукты и инструменты нового типа. Известно, что технологии компьютерного зрения позволяют не только обрабатывать, «оживлять», но и создавать новые, несуществующие изображения и видео, речевые технологии позволяют озвучить и переозвучить любую сущность, а подключение «большой языковой модели» может дать этой сущности подобие интеллекта. Эти новые медиа-сущности способны вступать с человеком в том числе и в образовательные взаимодействия. 

Сотрудники Медиа-лаборатории Массачусетского технологического института в своей недавней статье дали этому направлению в ИИ наименование: генеративные медиа (см. Pat Pataranutaporn, Valdemar Danry, Joanne Leong, Parinya Punpongsanon, Dan Novy, Pattie Maes & Misha Sra «AI-generated characters for supporting personalized learning and well-being»/Nature Machine Intelligence volume 3, pages1013–1022 (2021)

Ниже привожу наиболее важные выдержки из этой статьи

Персонажи, созданные ИИ

1.      Авторы определяют персонажей, сгенерированных ИИ (AI-generated characters), как цифровые представления человека, созданные алгоритмами машинного обучения, которые выглядят, звучат и ведут себя реалистично, не обязательно будучи злонамеренными (как дипфейки).

2.      Чтобы определить место таких персонажей среди других схожих объектов их характеризуют  по трем осям: реализм, интерактивность и воплощение (рис. 1). Персонажи, созданные ИИ, благодаря их виртуальному воплощению отличаются от физически воплощенных персонажей, таких как гуманоидные роботы.  По этим осям персонажей, созданных ИИ, можно сравнивать с другими областями, такими как роботы-гуманоиды, персонажи CGI/VFX в фильмах и 3D-персонажи в играх. В отличие от  персонажей, созданных вручную (например, трехмерные (3D) или персонажи CGI/VFX - компьютерные изображения/визуальные эффекты) они могут быть значительно более реалистичными.  ИИ-персонажи (будем называть их так) обладают различной степенью интерактивности


Рис. 1.

3.      Авторы выделяют два подтипа ИИ-персонажа:  1) пользователь становится сгенерированным ИИ персонажем с заменой лица и 2) пользователь взаимодействует с сгенерированным ИИ персонажем, который находится под контролем либо другого человека, либо ИИ- системы.

4.      Первый подтип позволяет человеку носить лицо сгенерированного персонажа, что  может помочь пользователю представить себя кем-то другим и мотивировать его к необходимым действиям,  экспериментировать с идеями посредством ролевых игр. Было показано, что виртуальное существование кем-то другим повышает способность к объективному мышлению , укрепляет вовлеченность  и уменьшает дискриминационные предубеждения.

5.      Второй подтип позволяет пользователям взаимодействовать с другими пользователями с ИИ-лицом  или с воплощеннымиИИ-системами. Последние могут служить мотиваторами, изображая личностно значимого наставника, советника или сторонника, демонстрируя их черты лица, голос и манеры.

6.      Принципиальным моментом является потенциально легкая доступность этих персонажей (в отличие от роботов или персонажей, созданных вручную), а также их перестраиваемость с одного  сценария на другой.

7.      Оба подтипа персонажей ИИ могут быть доступны в различных формах (видео, 3D, аудио) и через несколько устройств, таких как смартфоны, ноутбуки или гарнитуры дополненной и виртуальной реальности, которые могут предоставить новые возможности для взаимодействия

8.      Для целей образования в использовании ИИ-персонажей авторы выделяют следующие направления

8.1. ИИ-персонажей можно использовать для создания увлекательных учебных материалов для всех возрастов, от предоставления контента в классе до взаимодействия с контентом в таких местах, как музеи, исторические памятники или даже на природе. С помощью современных алгоритмов можно оживить выдающихся исторических, современных или вымышленных деятелей, чтобы познакомить учащихся с «живым» опытом ученых, делающих свои открытия, исторических деятелей, рассказывающих о битвах, или художников, обсуждающих свое вдохновение и процесс. От себя заметим перспективность их использования для конструирования открытых онлайн-курсов (МООК) (см. рис. 2)


Рис. 2

8.2. Персонажи, созданные искусственным интеллектом, могут представляться в качестве виртуальных преподавателей. Способ, которым учителя интегрируют технологию в свои планы уроков, играет важную роль в мотивации наряду с психологическими процессами учащихся и контекстуальными факторами, участвующими в обучении. Это было продемонстрировано в начале 2020 года, когда профессор увидел всплеск энтузиазма студентов после того, как провел свои онлайн-уроки в роли аниме-персонажа. Такие возможности поддерживают множество новых сценариев обучения.

8.3. Студенты, воплощающие персонажей, созданных искусственным интеллектом. Например, студент может стать Эйнштейном и попытаться изложить свою теорию относительности. Исследователи продемонстрировали, что воплощение персонажа в виртуальной реальности может положительно влиять на поведение и способности людей. См. также про ролевые игры (рис. 3)


Рис. 3

8.4. Персонажи, созданные ИИ, как ровесники. Помимо использования сгенерированных ИИ персонажей в качестве инструкторов или ролевых игр студентов для более захватывающего обучения, авторы предполагают использование сгенерированных персонажей в качестве сверстников в группах поддержки обучения. Было показано, что социальные вознаграждения, такие как похвала от других, способствуют большей мотивации у детей, улучшают успеваемость и повышают самоэффективность . Аналогичным образом было показано, что похвала от искусственных объектов, таких как роботы и виртуальные агенты, повышает человеческую мотивацию и производительность решения задач.

9.      Далее идет описание предлагаемого авторами конвейера для «Создания  ИИ персонажей из текста, аудио и видео». Конвейер позволяет легко создавать реалистичный контент на основе реальных и вымышленных гуманоидных персонажей с мимикой, голосом и движением. Он сочетает в себе современные генеративные модели искусственного интеллекта, которые преобразуют текст в аудио, аудио в видео и видео в видео, и может использоваться для создания различных аудио- и видеовыходов на основе доступных данных. Используются следующие модели:

91.1.VOCA 63 (анимация персонажей с голосовым управлением),

9.2. FLAME 64 (лица, изученные с помощью артикуляционной модели и выражений),

9.3. управляемая речью лицевая анимация,

9.4. и модель движения первого порядка.

10.  В заключение авторы говорят о будущем, в котором генеративный ИИ станет повсеместным в повседневной жизни как часть постоянно растущего ландшафта взаимодействия человека и ИИ. Помимо сферы образования, эти технологии, вероятно, будут использоваться для положительного воздействия во многих других областях, включая развлечения, творчество и безопасность. Хотя современные алгоритмы далеки от совершенства, они открывают новые творческие возможности не только для художников и кинематографистов, но и производителей более скромного учебного контента, поскольку не требуют бюджетов и сроков голливудского уровня.

Мы весьма впечатлены этими возможностями для использования в задачах создания качественного, мотивирующего обучение контента.

пятница, 7 января 2022 г.

Рецензия на курс «AI Basics for Schools»

 


Курс производства European Schoolnet Academy 2021 г. состоялся весной 2021 г. (8 марта – 8 апреля).  Материалы имеются в открытом доступе https://www.europeanschoolnetacademy.eu/dashboard Курс направлен именно на учителей Евросоюза и является частью инициативы EU Code Week, поддерживаемой Европейской комиссией. Курс состоит из 3-х модулей: 

  • Модуль 1. Что такое ИИ?
  • Модуль 2: ИИ в образовании
  • Модуль 3. Преимущества и проблемы ИИ

В первом модуле даются определение, история развития ИИ,  приложения ИИ в повседневной жизни, глоссарий ИИ, в том числе видеоглоссарий. Проведен живой вебинар с преподавателями.  В качестве практических заданий предлагаются: представление слушателей, формирование облака тегов ИИ, задание по рекомендательным системам, простой  тест на перетаскивание. Кроме того, слушателей знакомят с требованиями к выпускной работе: шаблоном и критериями оценки.

Второй модуль – основной.  В зависимости от целей обучения авторы постулируют  три подхода к внедрению ИИ  в школе (AIEd):

  • Обучение с помощью ИИ – использование технологий ИИ для улучшения обучения учащихся и повышения качества обучения;
  • Обучение для ИИ - приобретение новых навыков, необходимых для жизни и работы в мире с искусственным интеллектом;
  • Изучение ИИ - применение навыков, связанных с ИИ, для эффективного использования ИИ и создания новых инструментов и технологий ИИ.

В первом подходе выделяют  инструменты AIEd:

  • ориентированные на учащихся;
  • ориентированные на учителя; 
  • системный AIEd для руководства образованием.

Особенное внимание в курсе сосредоточено  на AIEd для учителя. Краудсорсинг слушателей курса позволил собрать  «выставку инструментов и технологий ИИ», используемых для преподавания и обучения:

  • 72 экспоната для естественнонаучных дисциплин;
  • 162 экспоната для изучения языков;
  • 42 экспоната для преподавания общественных наук и искусства;
  • 52 универсальных экспоната

Отдельно рассматриваются интеллектуальные системы обучения и цифровые помощники, возможности ИИ для  непрерывной (постоянной) оценки и обратной связи.
Слушателю предлагается ряд  обсуждений на темы «Инструменты ИИ в Вашем классе», «Интеллектуальные системы обучения – будут ли они мейнстримом?», «Помогут ли инструменты ИИ  переключить оценивание от теста к пониманию смысла ответа?», «ИИ: движущая сила трансформации образования в соответствии с потребностями будущего». 
В разделе «Обучение для ИИ»  предлагаются способы формирования навыков решения проблем, кодирования и программирования, информационной грамотности и соответствующий инструментарий.  Изучение ИИ (в следующем подходе) предполагает обучению учеников применению навыков, связанных с собственно ИИ, развитие компетенций ИИ и исследований в области ИИ. Согласно Ilkka Tuomi  авторы различают использование, модификацию, разработку и создание ИИ.  Предлагается ознакомиться с платформами, на которых можно организовать проектную работу учеников по программированию на Python,  графическому дизайну, набору данных,  машинному обучению и распознаванию.  Краудсорсинг  в Wakelet позволил собрать существенную библиотеку литературы по ИИ в образовании.  Слушатели выполняют упражнения, такие как «Игра с данными», «Апробация  инструментов преобразования речи в текст».
Наконец, в последнем разделе этого модуля слушатели знакомятся с конкретными планами  уроков, практических занятий для начальных, средних и старших классов школы  на такие темы как ИИ и искусство, Обучающие машины для классификации, Нейронные сети, Мой Чат-бот по Covid-19, Жизнь в эпоху “Умных машин” - проблемы и возможности. 
В 3-м модуле "Преимущества и проблемы ИИ" ставятся следующие цели:
  • выявления угроз и проблем, создаваемых ИИ;
  • изучение преимуществ и возможностей ИИ;
  • размышления об этичном использовании ИИ  для разработки учебной деятельности по ИИ, для экспертной оценки учебной деятельности
Рассматриваются вопросы этики ИИ, в частности, краткое руководство по GDPR для школ и учителей Евросоюза, проблемы использования данных учащихся (обсуждение), фейки: фабрикация и манипуляция. Для учащихся предлагаются планы и инструменты для занятий по этим темам: «Предвзятость данных. Задачи и эксперименты для учащихся», «Обнаружение подделок».
С другой стороны обсуждаются вопросы благотворного влияния ИИ на общество:
  • IT гиганты на благо общества (IBM, Google, Microsoft);  
  • ИИ для людей с особыми возможностями и потребностями
Приведены планы уроков, инструменты для работы с учащимися по указанным темам, сервисы, облегчающие обучение учащихся с ОВЗ.
В заключение курса проведены: обсуждение на тему «Что принесет будущее?», краудсорсинг для собрания коллекции учебных ресурсов, планов уроков и мероприятий по ИИ и живой заключительный вебинар. А также, естественно, оценивание итоговых работ слушателей. 

Курс построен на платформе OpenEDX. Используются такие внешние инструменты как Padlet (онлайн доска), Tricider (опросы онлайн),  Dotstorming (мозговой штурм), Wakelet (организация контента).
Мы перевели курс в формат LMS Moodle, перевели тексты и картинки машинным переводом. Видео можно смотреть в синхронном переводе в Яндекс-браузере.  

В целом курс заслуживает серьезного внимания педагогического сообщества, заинтересованного во внедрении в российскую школу тематики искусственного интеллекта. Отметим существенные совпадения в подходе к повышению квалификации  учителей в рассматриваемом курсе и нашем онлайн-курсе  для учителей «Искусственный интеллект в образовании: реальность  и перспективы»


среда, 7 июля 2021 г.

Интерактивный персонаж с искусственным интеллектом. Пример создания

 Уже сейчас компьютерные модели могут оживлять изображения, создавать несуществующие изображения. А языковые модели способны понимать текст, создавать новые тексты, организовать диалог и работать с речью.

Разработчики многопользовательской VR-песочницы Modbox объединили платформу распознавания голоса Windows Speech Recognition, нейросеть от компании OpenAI - GPT-3 и систему синтеза естественной речи Replica. Всё ради уникального демо первых NPC (Non-Player Character – неигровые персонажи в компьютерных играх) с искусственным интеллектом.

Этот пример (с переводом на русский) и мои рассуждения привожу в формате видеоролика из курса ПК "Искусственный интеллект в образовании: реальность и перспективы": 




вторник, 6 июля 2021 г.

Создание изображений из текста. DALL•E: связь компьютерного зрения с технологиями обработки естественного языка.

 Новинка разработана специалистами из компании OpenAI. Они добавили к своей прославленной нейронной сети GPT-3 новый модуль под названием DALL·E.

Возможности:

1)      управление свойствами объекта

2)      одновременное управление несколькими объектами, их атрибутами и их пространственными отношениями представляет собой новую проблему.

3)      визуализация перспективы и трехмерности;

4)      визуализация внутренней структуры с помощью видов в разрезе и внешней структуры с помощью макроснимков;

5)      устранять неполные спецификации в трех случаях: изменение стиля, обстановки и времени; рисование одного и того же объекта в самых разных ситуациях; создание изображения объекта с написанным на нем конкретным текстом;

6)      способность комбинировать разрозненные идеи для синтеза объектов, некоторые из которых вряд ли существуют в реальном мире;

7)      и многое другое.

Образцы можно посмотреть и поманипулировать возможностями нейросети здесь https://openai.com/blog/dall-e/.

Мое видео о DALL·E из курса повышения квалификации "Искусственный интеллект в образовании: реальность и перспективы":


Обратная операция: семантически развернутое текстовое описание сложного изображения похоже более сложная задача. Пару лет назад пропагандировали сервис CaptionBot от Microsoft, который делал аннотации фотографий.Но довольно неудачно. Возможно поэтому в настоящее время сервис https://www.captionbot.ai/  недоступен. 

пятница, 2 июля 2021 г.

edX продают за $800 млн.

 29.06.2021 г.The Wall Street Journal сообщил, что образовательно-технологическая компания 2U Inc., которая реализует программы для выпускников десятков ведущих университетов, покупает некоммерческую организацию edX, провайдера веб-курсов, основанную Гарвардским университетом и Массачусетским технологическим институтом, за 800 миллионов долларов.

2U работает как онлайн-менеджер программ . Он не присваивает степени. Скорее, он предоставляет своим клиентам технологии и другие ресурсы для создания онлайн-курсов и программ на получение степени, преподаваемых инструкторами учреждения-клиента с живым видео и записанными уроками с мультимедийными презентациями. 2U заключает долгосрочные контракты, обычно на срок от 10 до 15 лет, со своими учреждениями-клиентами. 

четверг, 1 июля 2021 г.

К проблеме самообновляющегося учебника

Прогресс технологий идет настолько быстро, что становятся бессмысленными статические источники информации, например, статические учебники и онлайн-курсы. Содержание должно непрерывно обновляться и изменяться. Конечно, есть методы и инструменты более динамичные: блоги, агрегаторы контента типа scoop.it и многое тому подобное. Но все же привычный академический формат, рассчитанный не на исследователей, а именно школяров – это учебник, к которому очень близок автоматизированный онлайн-курс. Их непрерывное обновление не под силу человеку - здесь должен быть привлечен ИИ и продвинутые NLP-модели. То есть адекватные прогрессу учебные материалы должны самообновляться, обладать функциями парсера новостей по теме и функциями переформатирования старых и компиляции новых текстов.

Например, при подготовке главы о Больших генеративных моделях (БГМ) в онлайн-курсе и учебном пособии «Искусственный интеллект в образовании», автор столкнулся с тем, что текст и видео за время их подготовки к публикации в онлайн-курсе стабильно устаревает. Только было подготовлено и записано видео о GPT-3, как появилась необходимость дополнить главу информацией о модели Сбера ruGPT-3 Large (ноябрь 2020). Следом появилась информация о новой модели Google на 1.6 трлн. параметров. АК в июне 2021 г., когда весь курс был окончательно подготовлен к реализации «как назло» появляется не только информация о китайской модели Wu Dao, но и отечественной, пусть и более скромной  YaLM от Яндекса, да еще и с демонстрационным интерфейсом  «Балабоба».

Решаема ли эта проблема – создание «умного» динамического учебника? Попробуем порассуждать.

Новая информация может противоречить существующему содержанию учебника, а может дополнять его.


1.      Предположим,  что дополняет. Каков может быть подход?

В первом приближении, при условии, что текст был написан добросовестным автором, можно предположить, что дополнения могут поступать только от источников, которые появились позже окончания работы над текстом.

В этом случае алгоритм может быть таким:

1)      Система анализирует текст (возможно происходит предварительная суммаризация-реферирование), выделяя ключевые понятия, слова, термины

2)      При этом должны быть исключены n-граммы, «заужающие» и затемняющие поиск, например, разного рода именованные сущности – но универсального подхода здесь нет. Например, для поиска информации о новых БГМ, д.б. исключены фирменные, географические названия и прочие наименования. А для учебника по истории Южной Америки нет.

3)      Далее м.б. осуществлен поиск-парсинг новой информации, причем поисковая модель должна уметь определять первоисточник информации и его дату публикации. По аналогии как  tineye ищет оригинал картинки, где и когда она была впервые опубликована. 

4)      Все эти этапы в принципе решаемы и не новы: агрегация новостей дело не новое. Это вопросы источников информации, релевантности поиска. Наверное, можно обойтись стандартными и полуавтоматическими решениями. 

5)      Затем система должна решить: содержит ли найденный контент что-либо новое по сравнению с имеющемся в тексте. То есть должна научиться определять «степень новизны». Непростой вопрос, связанный с задачами поиска плагиата только в самом первом приближении.

6)      И далее, если на предыдущем шаге получено значение «да», новизна имеется - информация должна быть очищена от несущественных, повторяющихся частей, возможно сжата. А затем должно быть определено куда она должна быть вставлена и, что  совсем не тривиально, стилизована под общий текст.    

Итак, перечислим еще раз задачи, которые необходимо решить:

·         Анализ исходного текста для целей поиска тематической информации

·         Отбор источников информации, парсинг информации с них, тайм-селекция

·         Определение новизны информации по отношению к исходному тексту

·         Стилизация информации и ее объединение с исходными текстом


2.      Исправление содержания

Мне неизвестны решения такого комплексного характера. Хотя, очевидно, что по частям решения есть. Не секрет, что определенной моделью глобального динамического учебника является Википедия. Правда, изменения в ней генерируются множеством людей-редакторов, в том числе на волонтерской основе. Не чужда Википедия и использованию ИИ. Однако до последнего времени его применение ограничивалось несколькими простыми задачами:

·         Препятствие вандализму (когда кто-то намеренно добавляет в энциклопедию неправдивую информацию), например, программа ClueBot NG;

·         Создание заготовок статей, вставка сведений в заранее определенные шаблоны и т.п.;

·         Создании и исправлении ссылок, проверке правописания, определение нарушения копирайта

Более продвинутый вариант предлагают исследователи из  Массачусетского технологического института (см. популярное изложение в Офисе новостей MIT за 12.02.2021 г. https://news.mit.edu/2020/automated-rewrite-wikipedia-articles-0212). В статье «Automatic Fact-Guided Sentence Modification»// Darsh J Shah, Tal Schuster, Regina Barzilay Computer Science and Artificial Intelligence Lab Massachusetts Institute of Technology. https://arxiv.org/pdf/1909.13838.pdf авторы ставят задачу исправления и изменений в статьях Википедии. При этом основной задачей является именно исправление, а не добавление – через выделение противоречий между старой и новой информацией и изменение старой.  Это сложная задача ограниченной генерации, поскольку вывод должен быть согласован с новой информацией и вписываться в остальную часть существующего документа.

 В статье, представленной на конференции AAAI по искусственному интеллекту, исследователи описывают систему генерации текста, которая определяет и заменяет конкретную информацию в соответствующих предложениях Википедии, сохраняя язык, похожий на то, как люди пишут и редактируют. Идея состоит в том, что люди будут вводить в интерфейс неструктурированное предложение с обновленной информацией, не беспокоясь о стиле или грамматике. Затем система выполнит поиск в Википедии, найдет соответствующую страницу и устаревшее предложение и перепишет их по-человечески. Исследователи говорят, что в будущем есть потенциал для создания полностью автоматизированной системы, которая определяет и использует самую свежую информацию из Интернета для создания переписанных предложений в соответствующих статьях Википедии, отражающих обновленную информацию.

Согласитесь, это предложение наиболее близко к идее самообновляющегося учебника. Но давайте посмотрим как действует эта технология. Что следует учитывать и при каких условиях задача может быть достижимой.

Во-первых назначением системы является не изменение всей статьи, а только «точных частей статей». В качестве входных данных система принимает «устаревшее» предложение из статьи в Википедии, а также отдельное «утверждение», содержащее обновленную и противоречивую информацию. Она должна автоматически удалять и сохранять определенные слова в устаревшем предложении на основе информации в заявлении, чтобы обновить факты, но сохранить стиль и грамматику. Это простая задача для людей, но новая в машинном обучении.

Например, предположим, что это предложение (выделено жирным шрифтом) необходимо обновить: «Фонд A считает 28 из своих 42 миноритарных пакетов акций в операционно активных компаниях особенно важными для группы». Предложение с обновленной информацией может гласить: «Фонд А считает 23 из 43 миноритарных долей участия значительными». Система найдет соответствующий текст в Википедии для «Фонда А» на основе заявления. Затем он автоматически удаляет устаревшие числа (28 и 42) и заменяет их новыми числами (23 и 43), сохраняя при этом предложение точно таким же и грамматически правильным.

Как это работает:

Система была обучена на популярном наборе данных, который содержит пары предложений, в которых одно предложение является утверждением, а другое - соответствующим предложением Википедии. Каждая пара помечается одним из трех способов: «согласен», что означает, что предложения содержат совпадающую фактическую информацию; «Не согласен», что означает, что они содержат противоречивую информацию; или «нейтральный», если для любого ярлыка недостаточно информации. Система должна заставить все несогласные пары согласиться, изменив устаревшее предложение, чтобы оно соответствовало утверждению. Это требует использования двух отдельных моделей для получения желаемого результата.

Первая модель - это классификатор для проверки фактов, предварительно обученный маркировать каждую пару предложений как «согласен», «не согласен» или «нейтральный», - который фокусируется на несогласных парах.

Вместе с классификатором работает настраиваемый модуль «маскировки нейтралитета», который определяет, какие слова в устаревшем предложении противоречат утверждению. Модуль удаляет минимальное количество слов, необходимых для «максимизации нейтралитета» - это означает, что пара может быть помечена как нейтральная. Это отправная точка: хотя предложения не совпадают, они больше не содержат явно противоречивой информации. Модуль создает двоичную «маску» над устаревшим предложением, где 0 ставится над словами, которые, скорее всего, требуют удаления, а 1 ставится поверх хранителей.

После маскирования для генерации окончательного выходного предложения используется новая структура с двумя кодировщиками и декодерами. Эта модель изучает сжатые представления утверждения и устаревшего предложения. Работая совместно, два кодировщика-декодера объединяют несходные слова из заявки, перемещая их в места, оставшиеся свободными после удаленных слов (тех, которые покрыты нулями) в устаревшем предложении.

Результат:

В одном тесте модель получила более высокие оценки, чем все традиционные методы, с использованием метода под названием «SARI», который измеряет, насколько хорошо машины удаляют, добавляют и сохраняют слова по сравнению с тем, как люди изменяют предложения. Они использовали набор данных с вручную отредактированными предложениями Википедии, которых модель раньше не видела. По сравнению с несколькими традиционными методами создания текста, новая модель была более точной в обновлении фактов, а ее результаты более напоминали человеческое письмо. В другом тесте краудсорсинговые люди оценили модель (по шкале от 1 до 5) на основе того, насколько хорошо ее выходные предложения содержали фактические обновления и соответствовали грамматике человека. Модель получила средний балл 4 за фактическое обновление и 3,85 за соответствие грамматике.

 

№

Старый текст

Новая информация

Результат исправления

1

Родившись в Лоутоне , штат Оклахома , и выросший в Анахайме , штат Калифорния, Хилленбург в детстве увлекся небом, а также развил интерес к искусству

Стивен Хилленбург в детстве был очарован океаном

Родившись в Лоутоне , штат Оклахома , и выросший в Анахайме , штат Калифорния, Хилленбург в детстве увлекся океаном, а также проявил интерес к искусству .

2

Немецкая Startups Group считает, что 28 из 42 миноритарных акционеров в действующих компаниях имеют особое значение для группы.

Он считает значимыми 23 из 43 миноритарных акционеров

Немецкая Startups Group считает, что 23 из 43 миноритарных акционеров в действующих компаниях имеют особое значение для группы.

 

3

Сиквел  Rio 2, был выпущено 11 апреля 2012 года

Сиквел Rio вышел 11 апреля 2014 года

Сиквел Rio 2, было выпущено 11 апреля 2014 года

4

Альберт С. Редди  родился 28 марта 1940 года  - канадский кино - и телевизионный продюсер

1930 году родился Альберт С. Редди

Альберт С. Редди  родился 18 декабря 1930 года -китайский кино - и телевизионный продюсер*

*В последнем примере, несмотря на то, что модель выдает правильный 1930 год, она изменяет месяц и национальность на выдуманные, неправильные значения. Это результат слишком агрессивного удаления.

Итак, что можно сказать о предложенном методе и о возможности его применения для решения задачи саморедактирующегося учебника

  1. 1.      Очевидно, что его использование позволяет достичь только частичного самообновления, а именно: изменения на основе выделения противоречия между старой и новой информацией
  2. 2.      Как понятно из примеров пока работают лишь простые и в основном количественные различия и изменения
  3. 3.      Для обучения модели необходимо сформировать достаточное количество размеченных пар предложений
  4. 4.      Проблема парсинга необходимых изменений в учебник здесь не ставится: новый фрагмент должен находить и «скармливать» системе человек

Тем не менее мы видим здесь определенный шаг в направлении создания самообновляющегося учебника.