Весной школьники готовились к экзаменам и старались за как можно меньшее время прочесть как можно больше. Художественные произведения в кратком пересказе для них — классический способ «хакнуть систему». Это подтверждает и «Яндекс Вордстат». В апреле 2024 года он зафиксировал более 1,5 млн запросов по словосочетанию «краткий пересказ». Большинство текстов — из школьной программы.
Количество запросов словосочетания «краткий пересказ». Источник: «Яндекс Вордстат»
О том, что краткие пересказы используют именно школьники, говорит и сезонность. Из года в год в летние месяцы в динамике запроса можно увидеть спад, а затем подъём к началу учебного года.
Топы запросов словосочетания «краткий пересказ». Источник: «Яндекс Вордстат»
Что читают школьники и как менялся этот список за 100 лет, мы уже подробно разбирали в спецпроекте «Классное чтение: школьная программа по литературе от Октябрьской революции до ЕГЭ». Там есть и про Шекспира, и про «Гарри Поттера», и даже про «Вино из одуванчиков».
Теперь поговорим о пересказах.
ИИ vs обычный автор
Последние несколько лет все краткие пересказы произведений делали живые авторы. Но сейчас всё чаще эту работу поручают нейросетям, обучив их суммаризировать (тезисно пересказывать) тексты.
Мы решили проверить, хорошо ли справляется искусственный интеллект с такой задачей. Не придумывает ли что-то своё и умеет ли уловить суть. Ведь на кону — сданный (или нет) экзамен у тысяч школьников.
Как проходил эксперимент?
Для эксперимента мы использовали три нейросети: ChatGPT, Yandex GPT и Notion AI. У каждого ИИ было две задачи: кратко изложить текст и рассказать, в чём основная суть произведения.
В качестве материала мы выбрали разные по структуре произведения из школьной классики: рассказ А. П. Чехова «Толстый и тонкий», басню Крылова «Ворона и лисица» и стихотворение М. Ю. Лермонтова «Бородино». В каждом из них есть и ярко выраженный сюжет, и дополнительные смыслы, которые школьники должны включить в своё сочинение, рассуждая, что всем этим хотел сказать автор.
Вот что у нас получилось.
А. П. Чехов «Толстый и тонкий»
В этом рассказе всего около 500 слов, зато есть иронический подтекст — эти условия позволяют быстро проверить и сравнить качество кратких пересказов.
Yandex GPT пересказал текст буквально: на вокзале встретились два приятеля, пообщались и разошлись. Только сюжет.
Лучше с задачей справился ChatGPT, хотя грамматика русского языка у него оказалась не на высоте и встречались фразы типа «У них были с собой жена и сын тонкого». Из-за такого косноязычия понять смысл пересказа было непросто. Зато нейросеть указала главный смысл произведения — обличение чинопочитания.
Удачнее всего изложил ход событий Notion AI, но вот считать иронию текста у нейросети не получилось. Содержание он подытожил словами: «В конце встречи, когда толстый приятель открыл, что он стал высокопоставленным чиновником, худой и его семья были ошеломлены и прониклись глубоким уважением к нему».
Как нейросети сформулировали главную мысль текста?
Yandex GPT снова пересказал фактическую информацию про вокзал, друзей и уважение.
ChatGPT нашёл неочевидные детали в описании персонажей и предположил, что Чехов передал различия Толстого и Тонкого через ароматы, символизирующие «их характеры, образ жизни и ценности». Вот как выглядит это описание: «Толстый персонаж, выбирающий аромат хереса и флер-д’оранжа, может быть представителем высшего общества, человеком с изысканным вкусом и обладающим изобилием материальных благ. Его ароматы подчеркивают его роскошный и насыщенный образ жизни.
Тонкий персонаж, выбирающий ароматы ветчины и кофе, скорее всего, представляет собой человека более скромного происхождения или меньшего достатка. Его ароматы указывают на простоту и практичность в его жизни».
Notion AI справился с этим заданием лучше других, сформулировав суть рассказа не только на основе сюжета: «Главная мысль произведения — критика автором общества, где статус и положение человека в обществе важнее его личных качеств и дружеских связей. Здесь показано, как изменение в социальном статусе одного из друзей влияет на их отношения, приводя к искажению их общения».
И. А. Крылов «Ворона и лисица»
Басня — это лиро-эпический жанр. И сюжет, и мораль в ней равно важны. Для анализа мы взяли одну из самых известных басен — «Ворону и лисицу» И. А. Крылова. Этот текст читают, обсуждают и, предполагается, что понимают уже в начальной школе. А что о нём скажут, вернее, как его перескажут нейросети?
Пересказ басни оказался непростой задачей для нейросети от Яндекса. Она просто нарезала произведение на лоскуты:
«Вороне бог послал кусочек сыра. На ель Ворона взгромоздясь… Позадумалась, а сыр… Лиса близехонько бежала. Плутовка к дереву… Вертит хвостом… Голубушка, как хороша!»
И всё в таком духе.
Лучше справился Notion AI, хотя и промахнулся с жанром произведения: «Это стихотворение рассказывает историю о вороне, которая обнаружила кусок сыра. Она села на ель, чтобы поесть, но задумалась, держа сыр в клюве. Лиса, унюхав запах сыра, подошла и начала льстить вороне, говоря о ее красоте, и попросила ее спеть. Ворона, польщенная похвалой, раскрыла клюв, чтобы петь, и сыр выпал, а Лиса с радостью его схватила». Как мы видим, здесь нейросеть пересказала сюжет, но не отметила мораль, без которой басня просто невозможна как жанр.
ChatGPT, наоборот, сделал акцент на смысле произведения, досконально не пересказывая сюжет: «Суть текста заключается в том, что лесть может быть опасна и вредна, но даже самый умный и предусмотрительный человек может поддаться ей. В данном случае Ворона была соблазнена лестью Лисы, потеряла бдительность и уронила свой сыр. Этот текст служит напоминанием, что нужно быть осторожным и не поддаваться на уловки льстивых людей».
М. Ю. Лермонтов «Бородино»
Скажи-ка, дядя, ведь недаром учат в школе это стихотворение наизусть? Вот и мы при мысли о том, что нужно найти что-то из школьной программы, вспомнили Лермонтова и его «Бородино». А подопытным искусственным интеллектам пришлось его пересказывать.
Как и в случае с басней, Yandex GPT бессистемно выдал лоскуты отдельных цитат: «— Недаром помнит вся Россия про день Бородина! — Да, были люди… Богатыри — не вы. Мы долго молча отступали. Не смеют, что ли, командиры изорвать». Если кто-то решится списать у Яндекса, за такой пересказ ему точно поставят двойку!
Notion AI и ChatGPT отвечали примерно одинаково, добавляя в текст факты о самом произведении. Правда, ChatGPT немного ошибся и назвал «Бородино» произведением… Пушкина.
Так что в пересказе стихотворения снова выигрывает Notion AI. Вот его версия: «Это стихотворение М. Ю. Лермонтова «Бородино» — описание знаменитой битвы при Бородино в 1812 году. В нем автор через уста ветерана войны описывает храбрость и непоколебимость русских солдат, готовых умереть за свою родину. Ветеран вспоминает, как войска непрерывно отступали, как они строили фортификации и сражались с французами. По его словам, русский народ проявил истинное мужество и твердость духа в этом сражении».
Суть произведения все три нейросети передали верно (если не придираться) и практически одинаково, даже Yandex GPT сообщил, что «текст рассказывает о событиях Отечественной войны 1812 года. Молодой солдат спрашивает старого солдата о причинах поражения русской армии в битве за Москву. Старый солдат объясняет, что это было вызвано многими факторами, включая отсутствие боевого опыта у молодых солдат и плохую подготовку командиров. Он также отмечает, что многие солдаты не вернулись с поля боя».
Можно ли делегировать нейросетям пересказ и анализ текста?
Вывод неутешительный — нельзя. Ни одна нейросеть не справилась с задачами идеально.
Эксперимент показал: чтобы получить достаточно полный и достоверный пересказ от искусственного интеллекта, нужно запрашивать краткое содержание не у одной, а сразу у нескольких нейросетей, задавать им наводящие вопросы и проверять полученные факты.
При этом как нейросеть с более близким к содержанию пересказом и стилем изложения можно все же отметить Notion AI. У неё было меньше всего ошибок.
Итого имеем неутешительный результат: пока нейросети проигрывают конкуренцию людям в составлении саммари произведений российской школьной программы и для подготовки к экзаменам лучше обращаться к старым, проверенным сайтам с краткими пересказами классической литературы, сделанными людьми.
Короткие произведения точно быстрее и проще прочесть самим, чем делегировать нейросетям или искать ещё более короткую (но не факт, что содержащую нужные для сочинения факты) версию.
Впрочем, не всё так плохо. Нейросети уже сейчас можно использовать для помощи в анализе уже прочитанного текста. Иногда у них бывает нестандартный взгляд на произведение или небанальные мысли.
Помогут ли нейросети для подготовки к экзаменам вам? Проверьте. Выберите известное вам произведение и попробуйте сравнить своё восприятие текста с тем, как вам его перескажет и проанализирует нейросеть.
