Цифровая филология — одно из направлений цифровых гуманитарных наук (Digital Humanities). В этой рубрике мы рассказываем о применении цифровых технологий в филологических исследованиях и цифровых филологических проектах. Мы пишем о стилометрии, сетевом анализе литературы, литературных корпусах и многом другом. Можно ли с помощью компьютера выделить из текста эмоции и события? А установить автора произведения, отделить его стиль от стиля переводчика и найти самого влиятельного героя пьесы? Узнайте в наших материалах!
Можно ли применять алгоритмы определения авторства к текстам древних исландских саг? Какие гипотезы о создателях этих текстов помогает подтвердить метод дельты, который ранее применяли для поиск поддельных стихов XIX века и раскрытия псевдонима Джоан Роулинг? Рассказываем про исследование исландского лингвиста Хёйка Торгейрссона.
В 2024 году А. С. Пушкину исполнилось 225 лет, а его фамилия стала словом года. Возможно ли собрать двухсотлетнее наследие Пушкина и пушкинистики в единую систему? Рассказываем о проекте, который сэкономит фанатам поэта 58 лет чтения.
Иногда сложно понять, что же хотел сказать автор своим сочинением, а пересказать текст кажется нереальной задачей — из-за необычной структуры повествования или при использовании разных рассказчиков. Как справляются с подобными задачами LLM? Ученые Колумбийского университета спросили у самих писателей.
Борис Ярхо — один из самых недооцененных филологов знаменитого поколения «русских формалистов» 1910-х — 1920-х. В отличие от куда более известных Проппа, Шкловского, Тынянова и Эйхенбаума, Ярхо оставался неизвестен на Западе и малоизвестен в России вплоть до начала XXI века, когда его пионерские работы по количественному литературоведению стали актуальны с приходом цифровых методов. Чтобы немного восстановить справедливость, «Системный Блокъ» подготовил «посмертное интервью» с Ярхо на основе его главной книги.
Что такое «гипотеза Поллианны»? Как она проявляется в зарубежной детской и юношеской литературе? Какие существуют методы, чтобы ее подтвердить или опровергнуть? В материале рассказываем о том, как исследователи провели сентимент-анализ корпусов англоязычной и немецкоязычной детской литературы и какие результаты они получили.
Что важнее для создания целостного образа персонажа в литературе: его слова или его действия? Как выбор глаголов отражает индивидуальность героя? Рассказываем о недавнем исследовании корпуса английской прозы, которое даёт ответы на эти (и не только) вопросы.
В мире почти 7000 языков, и они очень разные. Лингвистическая типология — раздел науки о языке, описывающий эти различия. Часто, хотя и не всегда, сходство языков обусловлено географически — тогда языки можно даже объединить в языковые ареалы. Но выделять их вручную — задача трудоёмкая и полная неоднозначностей. Тут на помощь исследователям приходят вычислительные методы.
Знакомясь с новой книгой, вы наверняка замечали, что с чем-то подобным вам уже приходилось сталкиваться. Герой покидает дом в поисках чего-то ценного. Герой находит большую любовь в конце истории или, наоборот, трагически погибает. Таинственный незнакомец приносит вести, становящиеся фундаментом для завязки сюжета. А как выглядит «усреднённая» история? Существуют ли слова, которые наиболее характерны для завязки или финала книги? Попробуем разобраться, используя методы цифровой гуманитаристики!
«Системный Блокъ» часто пишет о стилометрии и выпустил несколько учебных материалов (базовый, продвинутый и ещё один) о том, как провести собственное исследование с помощью библиотеки Stylo для языка R. А что делать тем, для кого Python удобнее? Рассказываем в новом тьюториале о стилометрии для англоязычных текстов, используя библиотеку Faststylometry.
Что влияет на распределение содержательных слов в тексте сильнее: литературная традиция или внешние факторы? Кирилл Маслинский, исследователь литературы, сотрудник Пушкинского дома и создатель Деткорпуса, изучает процесс создания контента. Он использует модель роста словаря, чтобы оценить разнообразие концептов семантической области «животные» в разных жанрах детской литературы, и вычисляет, какие животные вероятнее встретятся в каждом жанре. В ужастиках, конечно, на первом месте — змеи, а вот в научной фантастике частыми гостями неожиданно становятся морские обитатели. Расскажем о методе и результатах этого исследования.
Лингвистика и программирование. Филология и программирование. Нужны ли они друг другу? Нужно ли гуманитариям вообще уметь программировать или же все учёные чётко делятся на физиков и лириков? «Системный Блокъ» считает, что их знания можно взболтать, но не смешивать. Читаем интервью «Системного Блока» о том, насколько важно современным гуманитариям знание Python и нейросетей.
«Системный Блокъ» продолжает публикацию цикла статей о том, как развивалась идея библиотечного каталога с XVI века и до наших дней. В третьей части исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов рассказывает, как каталожные карточки и библиотечные коды стали мировым стандартом и как картотеки повышают работоспособность философов.
Как Линней придумал таксономию живых организмов, в чём польза игральных карт для каталогизации знания и сколько человек нужно, чтобы описать 30 тыс. книг? Исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов продолжает рассказывать о том, как развивалась идея библиотечного каталога с XVI века и до наших дней, на страницах издания «Системный Блокъ».
Информация бесполезна, если мы не знаем, как и где её найти. С появлением книгопечатания проблема упорядочивания выпущенных книг занимала учёных всё больше. Исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов изучил, как развивалась идея библиотечного каталога с XVI века и до наших дней. В этом материале он рассказывает, зачем разрезать конспекты книг на полоски и как крючки в шкафу заменяли библиотекарям теги.
В исследованиях по определению авторства и количественному анализу стиля широко используется метод Дельта филолога Джона Бёрроуза. Однако Дельта — не единственная придуманная им стилометрическая мера. Дж. Бёрроуз также является автором меры зета, с помощью которой можно сравнивать корпуса текстов. Расчёты на её основе встроены в одну из функций пакета Stylo — oppose().
Историю можно изучать не только по летописям или книгам, но и по частным источникам, или эго-документам: письмам, дневникам, записным книжкам. Рассказываем об эго-документах и связанных с ними цифровых исследованиях.
Национальному корпусу русского языка — 20 лет! По этому поводу мы приготовили для вас тест по уникальным словам русских писателей. Пройдите его — и узнаете, в чьих текстах раздавалось «хохотание» и происходило «требоисправление».
Мы собрали лучшие материалы «Системного Блока», посвящённые главной цифровой коллекции текстов на русском языке: художественных, научных, церковнославянских, диалектных, списанных с бересты, поэтических, памятников литературы с XI века и многих других.
Продолжаем наше руководство по анализу текста с помощью Voyant Tools. В прошлом материале мы рассказали, как загрузить и подготовить корпус. Теперь рассмотрим, как исследовать и визуализировать ваши материалы. Автор материала — Екатерина Волженина, выпускница DH-магистратуры НИУ ВШЭ в Москве, историк, менеджер центра глубинного обучения и байесовских методов ФКН.
«Системный Блокъ» пополняет свою коллекцию гайдов. Сегодня покажем, как сделать анализ текстов с помощью Voyant Tools, популярного инструмента среди цифровых гуманитариев. Разнообразные визуализации, частотный анализ, тренды, коллокации — вот только часть возможностей инструмента. Автор материала — Екатерина Волженина, выпускница DH-магистратуры НИУ ВШЭ в Москве, историк, менеджер центра глубинного обучения и байесовских методов ФКН.
Филологи уже долгое время подозревают, что одна из пьес чешского драматурга Карела Штайгервальда на самом деле принадлежит перу Милана Кундеры. Рассказываем, что по этому поводу думают цифровые филологи и специально обученные ими модели стилометрии
У вас есть аудиофайл от информанта и вам его нужно расшифровать? Возможно, вы пытаетесь при этом жонглировать несколькими программами сразу: у вас открыты медиаплеер, в котором вы слушаете звук, текстовый файл, в который вы записываете транскрипцию, мессенджер, в котором вы видите корректировки от руководителя. Но расшифровку можно сделать гораздо быстрее и удобнее — с помощью программы ELAN, которая была создана как раз для аннотирования звуковых и видеофайлов.
Сегодня гуманитарии стремительно осваивают цифровой мир и уже совсем по-другому смотрят на литературные произведения. В этой статье мы проанализировали книгу Филиппа Дзядко «Радио Мартын» с помощью языка программирования R и отразили в цифрах уникальность авторского стиля писателя
Идиостиль — это авторский стиль писателя. И если на небольших стихах его изучать удобно, то вот на текстах Льва Толстого — очень непросто. Рассказываем, как филолог Борис Орехов использует векторно-семантические модели для анализа идиостиля Толстого.
«Системный Блокъ» уже рассказывал, что такое стилометрия, и как сделать её своими руками с помощью библиотеки Stylo на языке программирования R. В новом гайде мы познакомим вас с функцией rolling.classify(), которая может помочь в исследований произведений, написанных в соавторстве.
Пройдите тест и узнайте, какую информацию можно получить из корпусов художественных текстов с помощью дальнего чтения.
Применить цифровые технологии к пьесам Шекспира? Да легко! Если вы хотите проанализировать связи между персонажами драматических текстов, то в этом вам поможет интернет-ресурс DraCor. Пройдите наш тест и проверьте, насколько хорошо вы знаете, как работает DraCor!
Сильвия Плат — американская поэтесса, основательница жанра «исповедальной поэзии». Ее жизнь была коротка (30 лет) и трагична, и эволюция творчества Плат отражает эту печальную динамику. Рассказываем, как менялись цвета и другие составляющие поэзии Сильвии Плат
Стилометрия — количественный метод определения авторства, который проверен на десятках современных языков. А что там с языками древними? Историк философии Ольга Алиева исследовала, как работает Дельта и другие стилометрические меры на древнегреческих текстах. Разбираемся вместе с ней, может ли стилометрия отличить Аристотеля от Платона, а Геродота от Плутарха.
Друг, жена, а может быть, сестра? Пройдите тест и узнайте, какое письмо отправил бы вам Антон Павлович
Еще до появления нашумевшей ChatGPT нейросети генерировали связные тексты на разные темы и в разных жанрах. Сейчас с помощью больших языковых моделей (LLM) можно написать мотивационное письмо, оригинальный рецепт вареников, диплом… и даже художественное произведение. Но правда ли, что нейросети скоро заменят живых писателей, или людям пока не о чем беспокоиться? Мы решили провести эксперимент при участии писателя Александра Сорге
Как научить нейросеть писать в стиле Набокова? И насколько хорошо (или плохо) у нейросетей вообще получается писать художественные тексты? Могут ли нейросети привести филологов к мировому господству? Ответы на эти и другие вопросы нам дали цифровой филолог Борис Орехов и исследователь в области глубинного обучения Михаил Ким.
Может ли нейросеть заменить писателя? И да и нет. Есть творческие задачи, с которыми современные языковые модели справляются легко: например, стилизовать сказку под триллер, а трагедию Шекспира — под дворовую байку. Но есть многое, в чем им нужна помощь или хотя бы руководство человека. Разбираемся, какие литературные задачи можно делегировать ChatGPT, а какие пока не стоит.
Кого Лев Толстой называл голышом и где в усадьбе тырла? Кем лучше быть ― келарем или щелкопёром? Писатель был знатоком редких и диковинных слов. Пройдите наш тест и попробуйте отгадать их значения
Точные методы в гуманитарных науках появились задолго до компьютеров — и в России их история перевалила уже за полтора века. Вспоминаем, как филологи, историки, лингвисты, математики и другие исследователи развивали количественные подходы к анализу литературы, языка и других гуманитарных объектов — и создавали базу для становления на российский почве Digital Humanities
Статья Агаты Холобут и Яна Рыбицкого The Stylometry of Film Dialogue: Pros and Pitfalls показывает связь между жанровыми особенностями кино и лексикой диалогов: с помощью стилометрии и сентимент-анализа авторы исследуют 178 фильмов из разных эпох. Рассказываем, что же у них получилось
Цифровые филологи научились «измерять стиль»: у «Системного Блока» есть подборка статей о стилометрии и гайд о том, как провести собственное стилометрическое исследование. Нейросети зашли еще дальше: современные технологии уже позволяют выделять стиль текстов и даже подражать ему (об этом мы писали здесь). Сегодня мы расскажем о новом эксперименте Бориса Орехова, в котором исследователь оценивает, насколько хорошо модель может скопировать узнаваемый авторский стиль
Подкорпус Национального корпуса русского языка, в котором можно изучать ударения русских слов, содержит произведения поэтов-любителей с сайта Стихи.ру. Каким образом они могут быть полезны для науки — читайте в нашем материале
Представляем результаты авторского цифрового исследования: граф социальных связей персоналий Серебряного века на основе материалов проекта «Устная история». Центральная фигура — Владимир Маяковский.
Владимир Набоков известен тем, что писал и на русском, и на английском. Сможет ли компьютер распознать его оригинальный стиль? Этот вопрос исследовал цифровой филолог Борис Орехов. О том, как стилометрия при помощи статистики справляется с филологическими задачами – в материале «Системного Блока».
Стилометрический анализ позволяет определить, принадлежат ли тексты одному и тому же автору. Но что если писатель творит под несколькими литературными масками, у каждой из которых есть индивидуальность? Рассказываем, как португалец Фернандо Пессоа и француз Ромен Гари «обманули» стилометрию — а ученые Борис Орехов и Даниил Скоринкин исследовали и визуализировали это.
В апреле 2023 года разработчики самой популярной программы для сетевого анализа Gephi представили её веб-версию. Базовые функции сервиса теперь доступны в браузере, и пользоваться им стало гораздо проще.
Писатели-фантасты представляли будущее по-разному. Мы уже рассказывали о том, как им удалось предвидеть современные информационные технологии от мессенджеров до генеративных нейросетей. Теперь пришла ваша очередь подобрать себе грядущее по душе. Тест подскажет, какое будущее из фантастических книг разных столетий подойдет вам лучше всего.
Пройдите тест и узнайте, разбираетесь ли вы в творчестве «КиШ»а лучше «Системного Блока»!
15 марта 2023 года прошёл круглый стол «Digital Humanities в Центральной Азии» — серия панельных дискуссий, на которых учёные из стран Центральной Азии обсудили цифровые гуманитарные исследования и проекты в регионе. Участница Системного Блока сходила на мероприятие и рассказывает, о чем там говорилось.
Ранее мы рассказывали про цифровой анализ речи героев «Войны и мира». В этом материале с помощью сетевого анализа разбираемся, как взаимосвязаны персонажи эпопеи и кто из них «главнее»
Системный Блокъ уже рассказывал о том, что такое стилометрия, и о многих стилометрических исследованиях. Читайте подробный гайд, как самому провести такой эксперимент — с помощью stylo, библиотеки языка R и самого популярного инструмента для стилометрии.
Фантастика часто предугадывает будущие достижения науки и техники. «Системный Блокъ» уже рассказывал, как русские писатели XIX века предсказали появление генеративных нейросетей, мессенджеров, соцсетей и компьютеров. Теперь посмотрим на предсказания зарубежных писателей: онлайн-торговлю, интернет-банкинг, дистанционное образование, искусственный интеллект и новостные агрегаторы.
Научная фантастика в русской литературе имеет давнюю историю. Писатели XIX и первой половины XX века предсказали многое: от телевидения до космических полетов. А насколько хорошо они предвидели современные информационные технологии? Удивительно, но современники Пушкина и Толстого смогли предсказать мессенджеры, генеративные нейросети, 3D-кино и что-то вроде интернета на Марсе.
Из уроков литературы мы помним долгие обсуждения монологов героев в «Войне и мире» Льва Толстого. Но что, если взглянуть на прямую речь персонажей под другим углом? Рассказываем, как цифровые методы анализа прямой речи персонажей помогают узнать, кто из героев ближе всех к светскому обществу, у кого самая «живая» и самая «сухая» речь, и в чем драматическое различие между речью Наташи Ростовой и Андрея Болконского.
23 ноября команда Tolstoy Digital запустила сайт «Слово Толстого» – первый цифровой путеводитель по необъятному наследию писателя
Знали ли вы, что слово «время» в произведениях А. П. Чехова имеет определенные схемы употребления, повторяющиеся от тома к тому? Могли ли подумать о том, что письма к любимой супруге Ольге Леонардовне драматург писал как к чужому человеку? Как связаны стили Чехова-писателя и Чехова-личности? Ответы на эти вопросы читайте в продолжении статьи о семантическом издании Chekhov Digital.
Каждый филолог желает знать, что такое семантическое издание. В этой статье мы расскажем вам об одном из них. В нем можно исследовать социальные сети Чехова и посмотреть, кого писатель упоминал в своей обширной переписке.
Доказать авторство поэта, чей сборник стихов был издан уже после его смерти, – трудная задача. К счастью, стилометрия помогает разобраться в этом вопросе, а заодно понять эволюцию поэтического стиля в испанской поэзии раннего Нового времени. Рассказываем, как цифровая филология помогла исследователям глубже изучить, какую роль Фернандо де Эррера сыграл в искусстве XVI – XVII веков.
Системный Блокъ много писал о стилометрии: об атрибуции и верификации авторства, анализе эмоций в песнях и стиля переводчика. Теперь на примере известного итальянского автора рассказываем, как стилометрия помогает раскрывать литературные мистификации.
Человеку из XXI века может быть сложно понять социальные реалии, в которых создавались пьесы Шекспира. С помощью цифрового анализа исследователи выяснили особенности национальных, гендерных и других ролей, использованных автором. Разбираемся, каким языком пользовались кельты, женщины и обманщики в шекспировских пьесах.
Существует ли связь между стихотворным размером и тематикой стихотворения? Можно ли стихи, написанные одним размером, объединить в связанные по смыслу группы? Ищем ответы на эти вопросы в европейской поэзии с помощью тематического моделирования
Продолжаем разгадывать вечную тайну «Беовульфа» и рассказывать о том, как цифровые филологи строят научный диалог в поисках правды.
Литература как любая сложная система развивается и эволюционирует. Какие-то произведения остаются в центре внимания читателей на десятки и даже сотни лет, другие забываются сразу после издания. Так работает «литературная эволюция», модель которой начинал разрабатывать русский филолог Юрий Тынянов (подробнее об этом — в нашем прошлом материале). Применима ли эта концепция к отдельным частям произведения — например, к диалогу? Исследователи пытаются дать ответ на этот вопрос.
Первое полное пособие по использованию Python в гуманитарных науках доступно в онлайн-формате