Стиль и нейропоэзия
Что такое стиль? В узком смысле под этим термином подразумеваются формальные признаки текста, которые делают его уникальным. Исследуя тот или иной авторский стиль, мы фокусируемся не только на том, что сказано, но и на том, как сказано. Современные методы стилометрии, как правило, опираются на статистику (например, на распределение частотных слов или изучение последовательностей). Такой подход чаще всего используется для атрибуции текста, т. е. установления авторства.
Если же нам необходимо воспроизвести какой-либо стиль, на помощь могут прийти нейросети: к примеру, сегодня активно развивается нейропоэзия. И возникает закономерный вопрос: как проверить, насколько хорошо модель копирует стиль, предложенный исследователем? На этот вопрос Борис Орехов и попытается ответить в ходе своего эксперимента.
Угадай поэта
В эксперименте использовались три LSTM-модели, обученные на корпусах Николая Некрасова, Осипа Мандельштама и раннего Бориса Пастернака. 94 студента-филолога, которые специализируются на истории литературы, определяли авторство трёх случайно выбранных сгенерированных четверостиший.
| Факторы, влияющие на точность эксперимента | Решение |
|---|---|
| Респондент лоялен / не лоялен к экспериментатору | Респондент должен не просто дать оценку работе нейросети, а самостоятельно определить автора, которому подражала машина. Чтобы упростить задачу, респонденту будет предложен закрытый список фамилий. Ещё нужно дополнительно спрашивать респондента о том, как хорошо он знаком с произведениями выбранного им автора |
| Респондент знаком / не знаком с текстами привлекаемого автора | |
| Респондент может быть некомпетентен в задаче определения стиля | Привлекаются литературоведы и филологи, которые привыкли обращать внимание на то, как написан текст |
Вот одно из таких четверостиший (подражание Некрасову):
И карточки не слышал. Он был уж добрый свет, Но как бы мог прибавил Какой-то бедного покой.
Студентам нужно было отгадать, на чьём корпусе стихотворений училась нейросеть. Варианты ответа: Николай Некрасов, Пётр Вяземский, Михаил Кузмин и Е. Белов (несуществующий персонаж).
После каждого вопроса студенты указывали, насколько хорошо они знают творчество выбранного автора (от «Я никогда не слышал это имя» до «Этот автор мне хорошо известен, и многие его произведения я знаю наизусть»), чтобы исключить случайно верные ответы.
Результаты эксперимента
Подражание Некрасову студенты определили верно в 40,4% случаях, Мандельштаму — в 43,6%, а Пастернаку — в 48,9%. Респонденты отвечали ответственно: все, кто выбрал неизвестного поэта (хотя таких было немного), признали, что слышат о нём впервые.
Ответы студентов можно представить как своеобразную классификацию всех участвующих в эксперименте поэтов. Для оценки качества такой классификации Борис Орехов использовал метод макросредней точности (англ. macro-average accuracy). Он взял общее число ответов, число правильных ответов и затем вычислил среднее арифметическое. К примеру, говоря об упомянутом выше четверостишии, правильный ответ «Некрасов» дали 38 человек из 94 (соответственно, 56 человек ошиблись). Точность = 38 / (38 + 56) = 0,4.
Ответ «Белов» дали 8 студентов. Оставшиеся 86 студентов, не выбрав Белова, оказались в этом конкретном бинарном выборе правы. Таким образом, точность по классу «Белов» = 86 / (8 + 86) = 0,9 (т. е. с такой точностью студенты-филологи не выбирают вымышленного автора). Макросредняя точность для Некрасова составила 0.702, для Мандельштама — 0.718, для Пастернака — 0.744.
Данный эксперимент показал, что для определения авторского стиля достаточно даже четырёх строк, а нейросеть достаточно успешно справляется с обработкой и воспроизведением естественного языка. Во многом это достигается за счёт рекуррентной LSTM-модели (Long Short Term Memory Network), о которой мы писали здесь. Если с этой моделью вы уже знакомы, можете посмотреть нашу статью о новейших нейросетях-трансформерах.
Источник: Boris Orekhov «Identifying the style by a qualified reader on a short fragment of generated poetry»
