Если собрать много текстов на одном языке, это уже корпус? Если да, то много — это сколько? Рассказываем, что называется корпусом и какие есть критерии отбора текстов. Объясняем, почему «чем больше, тем лучше» не работает, как устроены национальные, веб- и мультимедийные корпусы, и зачем они нужны ученым (и не только)
Что нужно человеку, чтобы снять квартиру в России? Каждый, кто читал объявления на популярных сайтах, знает, что нужно не только заплатить за аренду, но и соответствовать требованиям арендодателя. Чтобы узнать, какие требования оказались самыми распространенными, а какие удивят даже самого опытного квартиросъемщика, мы обработали 15 тысяч объявлений с помощью LLM
Алкотестер в каждой машине — звучит слишком хорошо, чтобы быть правдой? А если алкотестер — это ваш собственный голос? Достаточно сказать пару фраз, чтобы машина определила, что садиться за руль сейчас нельзя, и тем самым спасла жизнь вам или кому-то еще на дороге. Похоже на сценарий фантастического фильма, но исследователи уже работают над тем, чтобы превратить это в реальность. Разбираемся, как они учат нейросети слышать то, что не слышим мы, и при чем здесь немецкие скороговорки
Мы привыкли считать сюжет признаком романа или фильма, а песню — территорией эмоций и состояний. Но почему тогда одни треки звучат как описание глубоких чувств, а другие — как законченный эпизод из чьей-то жизни? Рассказываем, как цифровые методы и литературная теория помогают увидеть (и посчитать!) движение от лирики к сторителлингу в поп-музыке
В художественных произведениях часто упоминаются исторические личности. Что будет, если посмотреть на русскую литературу XIX века через упоминания реальных людей? Кем являются главные «герои» этой эпохи? Возможно, вы удивитесь, но это далеко не императоры и полководцы. Исследовательница из НИУ ВШЭ Дарья Герасименко попыталась ответить на эти вопросы с помощью библиотеки SlovNet
Чтобы грамотно составить корпус текстов, который помогал бы отвечать на вопросы о выбранном языке, недостаточно просто взять все книги, которые нам нравятся. Из этой статьи вы узнаете, чем опасны трубачи, которые даже не трубят, почему первое правило клуба гастроэнтерологов — не рассказывать о клубе гастроэнтерологов, стоит ли ставить на появление панамцев и как все это связано с исследованием языкового разнообразия
Рассказываем про презентацию коллективной монографии «Парад цифровых гуманитарных проектов»
Акростих — это зашифрованное послание, где первые буквы строк или предложений складываются в отдельные слова или фразы. DH-исследователь Женя Дуненков создал алгоритм для автоматического поиска таких шифров в корпусе из десятков тысяч текстов русской классики. Насколько распространены такие тайные послания на самом деле? Чтобы каждый мог самостоятельно продолжить поиски, мы делимся открытым кодом утилиты и полными результатами авторского исследования.
Владимир Маяковский — революционный поэт не только по содержанию, но и стилистически, что отражается в том числе в игре слов. Экспрессивные неологизмы поэта ярко и точно выражают авторский замысел. Но какова дальнейшая судьба этих дерзких слов? Узнать об этом нам поможет НКРЯ.
Датасет в машинном обучении — структурированный набор данных, который используется для тренировки моделей. Чтобы обучить большую языковую модель (LLM), датасеты должны быть крупными. Сегодня посмотрим на инструмент BunkaTopics, который позволяет исследовать их — узнавать тематическую составляющую, очищать и проверять, нет ли в данных смещения.
В Национальном корпусе русского языка за последние годы появилось много новых инструментов. Один из них — это «Портрет слова», который не только содержит информацию о морфологических признаках и морфемах каждого слова, но и дает представление, например, о его семантических соседях. В статье мы покажем, как пользоваться этим и другими заметными нововведениями, и расскажем, какие технологии за ними стоят.
Как получить доступ к огромным массивам текстов из Telegram, чтобы изучать язык медиа, тренды или реакцию общества на события в мире? В этом помогут Telegram Desktop, Python и библиотека pyrogram. В гайде с кодом рассказываем о методе «цепной реакции» для поиска и скачивания целых групп связанных каналов. Превратите Telegram в ваш исследовательский полигон!
Можно ли с помощью нейросетей находить скрытые цитаты, аллюзии и сближения в художественных текстах? Конечно! Что будет, если объединить силу LLM с экспертизой литературоведов, — читайте в материале математика, специалиста по Computer Science и одновременно литературоведа Евгения Обухова.
Выдающийся филолог-структуралист Ролан Барт полагал, что каждый текст — это интертекст, то есть в каждом тексте присутствуют в более или менее узнаваемых формах тексты предшествующих и настоящих культур. Рассказываем о свежем цифровом исследовании интертекстуальности в корпусе французских текстов и пробуем разобраться, как функционируют канон и жанр в литературном процессе.
Aozora Bunko — это цифровая библиотека, где собраны произведения японской классической литературы, которые находятся в открытом доступе. «Системный Блокъ» рассказывает, как устроена библиотека, какие правовые нормы приняты в Японии и о том, как автоматически собрать свой корпус из материалов «Аодзора-бунко».
Что такое «гипотеза Поллианны»? Как она проявляется в зарубежной детской и юношеской литературе? Какие существуют методы, чтобы ее подтвердить или опровергнуть? В материале рассказываем о том, как исследователи провели сентимент-анализ корпусов англоязычной и немецкоязычной детской литературы и какие результаты они получили.
Как международная популярность корейских поп-групп повлияла на тексты их песен? Как часто исполнители используют английские слова? Как отличаются песни о любви у мужских и женских групп? Этими вопросами задались студенты-востоковеды из Высшей школы экономики. Публикуем результаты их исследования.
Век цифровых технологий и новых образовательных стандартов не смог стереть интерес к старым, в том числе советским и дореволюционным, учебникам. Почему люди продолжают искать эти книги? Рассказываем в нашем исследовании архивов учебной литературы. Где их можно найти, кто их оцифровывает и что привлекает читателей?
Что влияет на распределение содержательных слов в тексте сильнее: литературная традиция или внешние факторы? Кирилл Маслинский, исследователь литературы, сотрудник Пушкинского дома и создатель Деткорпуса, изучает процесс создания контента. Он использует модель роста словаря, чтобы оценить разнообразие концептов семантической области «животные» в разных жанрах детской литературы, и вычисляет, какие животные вероятнее встретятся в каждом жанре. В ужастиках, конечно, на первом месте — змеи, а вот в научной фантастике частыми гостями неожиданно становятся морские обитатели. Расскажем о методе и результатах этого исследования.
Популярная музыка транслирует социальные нормы. Чем популярнее музыка, тем больше людей могут себя с ней соотнести. На какие детали быта обращала внимание постсоветская поп-музыка в первые 30 лет своего существования? Кого из исполнителей можно назвать главными «бытописателями»? Попробуем разобраться в этом материале.
Мы собрали лучшие материалы «Системного Блока», посвящённые главной цифровой коллекции текстов на русском языке: художественных, научных, церковнославянских, диалектных, списанных с бересты, поэтических, памятников литературы с XI века и многих других.
«Закатить глаза» или «троекратный поцелуй»? Узнайте, каким жестом вы были бы во вселенной мультимедийного корпуса русского языка.
Проект «Прожито» начался с небольшой группы волонтёров, собиравших и оцифровывавших личные дневники. Сегодня это крупный центр по цифровой архивации эго-документов: дневников, мемуаров, писем и других личных свидетельств времени. Основатель «Прожито» Михаил Мельниченко рассказал «Системному Блоку» о том, кто и как приносит документы для оцифровки, откуда берутся тысячи волонтёров и как изменится «Прожито» в ближайшем будущем.
Применить цифровые технологии к пьесам Шекспира? Да легко! Если вы хотите проанализировать связи между персонажами драматических текстов, то в этом вам поможет интернет-ресурс DraCor. Пройдите наш тест и проверьте, насколько хорошо вы знаете, как работает DraCor!
Параллельный корпус — это коллекция текстов, где для каждого текста хранятся его переводы на другой язык (или языки). Параллельные корпуса позволяют узнать, какие приемы и стратегии использовал переводчик для передачи слов, у которых нет эквивалентов в другом языке. В этой статье мы расскажем про русско-китайский параллельный корпус в составе Национального корпуса русского языка.
Национальный корпус русского языка (НКРЯ) — важнейший инструмент любого исследователя, который занимается русским языком, русской литературой и вообще русской словесной культурой. Изменения в работе НКРЯ были заметны ещё в 2019 году: тогда лингвисты высказали опасения о возможном закрытии сервиса. К счастью, проблемы оказались временными, и НКРЯ не только не прекратил свою работу, но и заметно изменился и расширился. Самым заметным обновлением стал новый дизайн сайта, но есть и много глубоких содержательных перемен. Об основных обновлениях в корпусе, очевидных и не очень — в нашем сегодняшнем материале.
С ноября 2021 года пользователям доступна вторая, улучшенная версия датасета.
В октябре «Системный блокъ» опубликовал корпусное исследование русской классики, в котором были проанализированы произведения школьной программы. Тогда в анализ текста Пушкина вошли «Евгений Онегин» и «Руслан и Людмила». Внимательные читатели заметили, что исследователи упустили не менее важные произведения классика – «Повести покойного Ивана Петровича Белкина» и «Капитанскую дочку», которые также входят в школьную программу. Мы посчитали такие замечания справедливыми и решили провести дополнительный анализ
Продолжаем рассказывать о том, как русские писатели описывали женщин и мужчин и можно ли измерить гендерное неравенство в литературе. В прошлый раз досталось Пушкину и Толстому, на этот раз смотрим на Набокова и Булгакова
Разбираемся, как работает DraCor — программируемый корпус текстов на 23-х языках, с помощью которого можно прочитать пьесу, наглядно рассмотреть отношения между персонажами и даже поиграть в карточную игру
Мы проанализировали все речи президентов, которые произносились в честь 9 мая с 2000 года. О том, как эти выступления влияют на нашу коллективную память и помогают легитимировать власть, читайте в исследовании СБъ
Корпус переводов общественно-политических текстов XVIII века помогает проследить формирование русского политического языка. В корпусе есть философские трактаты, художественные произведения политического характера, учебники и словари
Проект «Дальнее чтение для европейской литературной истории» выпустил собрание старых произведений. В коллекцию вошли 884 романа на 18 языках
Кому и почему «важно, чтобы корпус жил»? Системный Блокъ узнал, как применяют Национальный корпус русского языка: от школьных исследований до изучения перевода культурных реалий
Когда мобильный интернет был экзотикой, а отчёты по грантам сдавали на 3,5-дюймовых дискетах... в Рунете уже были цифровые гуманитарные проекты! Рассказываем в лицах и деталях об одном из них — о параллельном корпусе переводов поэмы «Слово о полку Игореве», которая отметила 13-летие. В конце поста бонус — обзор исследований на основе корпуса
Тематическое моделирование — легкий способ понять смысловой состав большой коллекции текстов, которую невозможно быстро прочесть глазами. Пользоваться инструментами тематического моделирования может каждый — а научиться можно в нашем тьюториале. Здесь вы найдете пошаговое руководство с решением основных технических трудностей
Как то, что мы читаем, влияет на нашу жизнь
Научпоп стремительно обзаводится почитателями по всему миру. Какие ученые хотят рассказать о своей работе больше всего, что ресурсы и паблики для этого делают и какими характеристиками обладает типичный научно-популярный текст?
Авторский стиль тяжело определить формально — это целый комплекс деталей, которые заметны человеческому глазу, но могут ускользнуть от компьютера. Указать на характерный выбор слов, конструкций, моделей легко, но как рассказать алгоритму про метафоры или научить его распознавать другие тонкие материи?
Исследование священных текстов с помощью методов автоматической обработки языка и статистики — то, с чего начались современные Digital Humanities. Сегодня статистика применяется для анализа священных текстов разных религиозных традиций, в том числе исламской. Публикуем перевод недавней работы, где анализируется соотношение божественных черт в Коране
Чему учат в современной началке? Могут ли современные количественные методы помочь в поиске объективных ответов на методические вопросы? Специально ко Дню Знаний мы проанализировали более 20 тыс. заданий в учебниках по русскому языку 1-4 классов и постарались разобраться, чему же чаще всего учат в начальной школе
Элегия — ключевой поэтический жанр «золотого века» русской поэзии. Что можно узнать о нем, используя количественные методы, такие как подсчет статистики словоупотреблений, тематическое моделирование, регрессионный анализ длины стихотворений? Рассказывает филолог Тоня Мартыненко (Тартуский университет)
Рассказываем, что такое mystem и antconc, для чего они нужны, и как ими пользоваться
Почему в начале английского романа ты должен пообедать, а в конце жениться... или умереть? Рассказываем, когда у мистера Дарси наступает кризис среднего возраста, Оливер Твист превращается из мальчика в тинейджера, а главное, при чем тут ключевые слова и как они могут влиять на структуру романного сюжета?
Первого мая режиссер и волшебник Уэс Андерсон отмечает пятидесятилетний юбилей. Перечитываем его фильмографию и делаем визуализацию. Так, как ее сделал бы Уэс, конечно!
Когда фантасты начали писать про искусственный интеллект и магический феминизм и разлюбили инопланетян?
Как аннотировать тексты, используя метод для подсчёта рейтинга шахматистов?
“Гумилёва считали?”: лингвист и популяризатор Александр Пиперски рассказывает, как открыл для себя количественные методы, что из этого получилось и зачем они нужны филологу-исследователю
Можно ли рассказать об эмоциях, привязав их к определенному месту? А что, если эмоции фиктивные, и содержатся только в литературных произведениях? Что получится, если соединить городскую географию, эмоции, литературу и количественный анализ?
Краткая инструкция о том, как просто собрать данные из твиттера для своего исследования
Стихи и тексты песен, написанные искусственными нейросетями, стали медийным мейнстримом. Но зачем они нужны? Может ли нейропоэзия помочь иследователю в анализе словесного искусства? Отвечает кандидат филологических наук Борис Орехов
