Датасет в машинном обучении — структурированный набор данных, который используется для тренировки моделей. Чтобы обучить большую языковую модель (LLM), датасеты должны быть крупными. Сегодня посмотрим на инструмент BunkaTopics, который позволяет исследовать их — узнавать тематическую составляющую, очищать и проверять, нет ли в данных смещения.
Они пересказывают тексты, находят скрытые смыслы и даже сочиняют истории. Читайте в нашей подборке, как большие языковые модели обнаруживают неожиданные параллели в произведениях, соревнуются с писателями и какие приемы помогут вам получать от них лучшие ответы.
Прогресс больших языковых моделей через увеличение их размеров застопорился: их масштабирование уже почти не дает прироста качества. Выход ищут в новом подходе — рассуждающих языковых моделях. Рассказываем, как работают рассуждающие языковые модели, как они решают проблемы современных LLM и создают новые.
Когда мы говорим о писательницах и поэтессах в обязательной программе по литературе, первыми приходят в голову Анна Ахматова и Марина Цветаева. Но ведь они не единственные женщины, попавшие в списки для чтения. Понятно, что кроме них школьники изучают и других — например, Зинаиду Гиппиус и Туве Янссон (да! давайте больше читать про муми-троллей). Проверим, насколько хорошо вы знакомы с писательницами, которые удостоились чести оказаться в русском литературном каноне.
Еще век назад к Москве стекались финансы из регионов. Откуда мы это знаем? Благодаря цифровым инструментам для анализа вексельных операций удалось узнать, кто были ключевыми клиентами московского отделения Санкт-Петербургского международного коммерческого банка. Связи между компаниями и банками (в том числе и личные), география сделок, отрасли — посмотрим, как были устроены кредитные отношения в начале XX в. Рассказывает автор исследования, специалист по исторической информатике Андрей Кулагин.
Исследователи античности очень гордятся тем, что использование цифровых методов в гуманитарных науках началось именно с классической филологии. Это произошло еще в 1960-х годах — с тех пор и возможности компьютеров шагнули далеко вперед, и количество доступных инструментов значительно возросло. Читайте в материалах нашей подборки, как классики используют 3D-модели, ГИСы, стилометрию, базы данных, сетевой анализ и многое другое, чтобы разгадывать загадки прошлого.
Мы очень любим наших художников и дизайнеров инфографики. Иногда их работы говорят больше, чем слова. Мы собрали несколько примеров — попробуйте угадать, какие публикации они иллюстрируют.
В Национальном корпусе русского языка за последние годы появилось много новых инструментов. Один из них — это «Портрет слова», который не только содержит информацию о морфологических признаках и морфемах каждого слова, но и дает представление, например, о его семантических соседях. В статье мы покажем, как пользоваться этим и другими заметными нововведениями, и расскажем, какие технологии за ними стоят.
Многие школы и ученики до сих пор подвергаются кибератакам. При этом уроки кибербезопасности по-прежнему факультативны. Разбираемся, как превратить правила безопасности в привычку и почему игры эффективнее лекций и запретов.
Карфаген должен быть разрушен — но почему именно он? Возможно, дело вовсе не в злопамятности римлян, а в географии. Точнее, в транспортной сети, которую можно сегодня смоделировать с помощью ORBIS — цифрового проекта Стэнфорда. Методы сетевого анализа позволяют взглянуть на Римскую империю как на систему дорог, портов и городов, от которой в империи напрямую зависело все: торговля, власть, снабжение и, наконец, ее распад.
Кто-то, где-то, что-то, как-то, почему-то. Все мы часто используем неопределенные местоимения. Они спасают нас в минуту неуверенности и незнания. В 1997 году лингвист Мартин Хаспельмат описал, какие значения они могут выражать и какие закономерности есть в употреблении неопределенных местоимений. Рассказываем, чем эта классификация помогает ученым и как с помощью вычислительных методов можно показать стремление языков к оптимальности.
Слова, как и люди, любят компанию. У каждого есть свой круг «общения» — другие слова, которые часто встречаются рядом с ним в схожих контекстах. Однако этот круг меняется со временем. В XIX веке у слова могли быть одни «приятели», а в XXI — совершенно другие. С помощью Национального корпуса русского языка мы можем заглянуть в прошлое и увидеть, как трансформировались эти семантические окрестности. Сможете ли вы опознать слово, зная лишь его «компанию» из разных эпох? Пройдите наш тест и проверьте свою лингвистическую интуицию!
Готовы почувствовать себя Шерлоком Холмсом? Проверьте свои знания о криминалистической биоинформатике: как с помощью ДНК, пыли, грибов и микробиомов можно раскрыть преступления.
Как «разложить» все книги мира на одной гигантской полке? 📚 Оказывается, для этого достаточно внимательно посмотреть на коды ISBN. Рассказываем, как превратить набор цифр в книжную вселенную в одном визуальном пространстве, по которому можно гулять.
Готовы ли вы совершить захватывающее путешествие в мир древности, используя современные технологии? Палеогенетика и биоинформатика воссоздают историю наших предков через анализ их ДНК. Пройдите наш тест и проверьте свои знания о том, как наука помогает расшифровывать загадки прошлого!
Можно ли с помощью нейросетей находить скрытые цитаты, аллюзии и сближения в художественных текстах? Конечно! Что будет, если объединить силу LLM с экспертизой литературоведов, — читайте в материале математика, специалиста по Computer Science и одновременно литературоведа Евгения Обухова.
Хотите узнать, какие страны воевали больше всего? Сколько было войн и где происходили ключевые битвы? Рассказываем о Всемирной базе данных исторических сражений, которая содержит информацию о более чем 8000 военных конфликтах — от древности до наших дней.
Как современные технологии меняют подход к изучению древних надписей? Какие методы используют исследователи для сохранения исторического наследия? Пройдите наш тест и выясните, насколько хорошо вы разбираетесь в цифровой эпиграфике.
Каждый, кто говорит по-русски, знает, что роль играют, условия выдвигают, а глаза бывают карими, но не коричневыми. Такие устойчивые словосочетания называются коллокациями, и существовать без них не может ни один язык. Мы уже рассказывали о том, как коллокации помогают гуманитариям, а теперь сделали тест, который поможет вам разобраться в этой теме. Готовы проверить свои знания?
В новой подборке мы рассказываем об инструментах, которые используют востоковеды для изучения японского языка и цифровых исследований японских текстов: от онлайн-словарей до продвинутых методов стилометрии.
Ухемоль, лоландер, рудада — спорим, вы не слышали таких слов? Мы тоже, пока не начали составлять этноботаническую базу данных PhytoLex. Рассказываем, для чего используется эта база данных и что можно узнать с ее помощью: от этимологии слова до его эволюции сквозь века.
Коллокации — это словосочетания, в которых слова часто встречаются рядом. Рассказываем, как устроены коллокации и какие есть способы их выявлять. А также изучим с помощью коллокаций в НКРЯ, что представлял собой антисемитизм в Российской империи второй половины XIX века.
Геоглифы Наски известны людям с XVI века — о них упоминали конкистадоры, которые проходили через пустыню. Тем не менее научное изучение геоглифов началось сравнительно недавно, чуть менее 100 лет назад, и стало возможным благодаря новым технологиям. С тех пор было открыто более 430 фигуративных, то есть составляющих изображение, геоглифов, а также множество линий, пересекающих пустыню.
Интернет и программирование: как много в этом звуке для сердца русского слилось! Читайте в нашей подборке, как писатели в начале XX века предсказали интернет, как в Советском Союзе пытались создать суверенную электронную сеть и почему советские и русские программисты стали цениться во всем мире.
Большой египетский музей (The Grand Egyptian Museum) в Гизе — огромный проект-долгострой с самой большой коллекцией египетских древностей. Рассказываем, как цифровые инновации вписались в проектирование и строительство музея.
Можно ли применять алгоритмы определения авторства к текстам древних исландских саг? Какие гипотезы о создателях этих текстов помогает подтвердить метод дельты, который ранее применяли для поиск поддельных стихов XIX века и раскрытия псевдонима Джоан Роулинг? Рассказываем про исследование исландского лингвиста Хёйка Торгейрссона.
Кто из древних людей пережил последний ледниковый период, а кому холода принесли смерть и исчезновение навсегда? Как останки зубов помогли открыть «бутылочное горлышко», через которое прошло всё человечество и едва не вымерло? Рассказываем, как палеогенетики изучали ранние миграции людей в Европе и выясняли, какие популяции Homo Sapiens исчезли навсегда
Как на базе мемуаров можно вычислить характер исторических личностей? О чем писали в газете заключенных на Соловках? Как с помощью анекдотов разобраться в перипетиях отношений между советской властью и гражданами? «Системный Блокъ» рассказывает, что такое контент-анализ и как в историческую науку внедряются цифровые методы.
Где искать в интернете японские словари? Какие из них вызывают доверие у востоковедов-японистов? «Системный Блокъ» рассказывает об онлайн-словарях японского языка и их особенностях. Три системы письменности, развитая лексическая многозначность, непростая история японского языка и культуры — все это определяет, как выглядят словари в цифровую эпоху
Иногда сложно понять, что же хотел сказать автор своим сочинением, а пересказать текст кажется нереальной задачей — из-за необычной структуры повествования или при использовании разных рассказчиков. Как справляются с подобными задачами LLM? Ученые Колумбийского университета спросили у самих писателей.
Что такое «гипотеза Поллианны»? Как она проявляется в зарубежной детской и юношеской литературе? Какие существуют методы, чтобы ее подтвердить или опровергнуть? В материале рассказываем о том, как исследователи провели сентимент-анализ корпусов англоязычной и немецкоязычной детской литературы и какие результаты они получили.
Западная Африка — место жительства более 450 млн человек, говорящих на сотнях разных языков. Это регион огромного культурного, этнического и языкового разнообразия. Рассказываем, как некоторые из западноафриканских языков обрели свою письменность, как она сохраняется и распространяется в цифровом мире и почему это помогает людям заявить о своей идентичности.
Современные технологии хорошо помогают в криптоанализе: программы, перебирающие тысячу вариантов за несколько секунд, в разы превосходят возможности человека. Однако слепого применения софта недостаточно, особенно если речь идёт о самом приоритетном неразгаданном шифре в списке ФБР — криптограмме серийного убийцы Зодиака. В новом материале разбираемся, какие вообще бывают шифры, почему шифр Зодиака не могли дешифровать на протяжении 50 лет и как криптографам всё-таки удалось его раскусить.
Ветреный или ветренный, ожёг и ожог, приставки пре- и при-, стеклянный, оловянный, деревянный... В жизнь каждого школьника рано или поздно приходит экзамен по русскому языку, а нудные примеры из учебников вызывают скуку. А если взять произведения, которые читают сами дети, и разметить в них сложные места русской орфографии? Именно такой инструмент готовят в Национальном корпусе русского языка. Эллина Куцевал, создательница алгоритма, рассказывает, как создавалась разметка.
Прошлое, какое бы оно ни было, всегда удостоено особого отношения к себе. События можно забыть или, наоборот, вернуть из глубин памяти. Исторический опыт влияет на человека: меняет его и выстраивает его представления о действительности. У современного человека появились новые инструменты сохранения памяти. Исследуем, как цифровые технологии помогают сохранять и переживать опыт прошлого.
Петроглифы — небольшие древние наскальные изображения — часто сложно датировать и атрибутировать. При этом для некоторых рисунков может быть очень много однотипных образцов — например, таковы петроглифы с изображениями оленей в долине чукотской реки Пегтымель. Выпускница магистратуры Digital Humanities НИУ ВШЭ рассказывает, как можно классифицировать петроглифы по типам при помощи нейросети.
Эмоции и их выражение в тексте — важная часть человеческой коммуникации. Но как зафиксировать эти тонкие и динамичные изменения, особенно в больших текстах? Как формально визуализировать эмоциональное содержание текста, превратив его в график? Ответы на эти и многие другие вопросы можно получить, построив кривые эмоциональной тональности выбранных текстов. О том, как это сделать, вам расскажет этот гайд!
В каком произведении школьной программы умирают лягушки, а в каком — скачут блохи? Пройдите наш тест на основе Национального корпуса русского языка и попробуйте отличить Гоголя от Салтыкова-Щедрина, а Лермонтова от Блока.
Развитие интернета и цифровых технологий открыло новое поле исследований для антропологов. Учёные осознали, что в онлайн-среде формируются уникальные сообщества, культуры и практики, которые можно и нужно изучать. Публикуем подборку наших материалов о цифровой антропологии. Из неё вы узнаете, какие методы можно применить к исследованию интернет-пространства, как за последние 40 лет изменились интернет-интерфейсы и зачем собирать слухи в соцсетях?
Знакомясь с новой книгой, вы наверняка замечали, что с чем-то подобным вам уже приходилось сталкиваться. Герой покидает дом в поисках чего-то ценного. Герой находит большую любовь в конце истории или, наоборот, трагически погибает. Таинственный незнакомец приносит вести, становящиеся фундаментом для завязки сюжета. А как выглядит «усреднённая» история? Существуют ли слова, которые наиболее характерны для завязки или финала книги? Попробуем разобраться, используя методы цифровой гуманитаристики!
Кто из русских писателей больше ругался? Какое имя теперь раньше было обычным, а теперь стало обидным? Можно ли обнаружить, в какой момент нейтральное слово становится бранным? Пройдите наш тест и узнайте, как можно изучать ругательства с помощью Национального корпуса русского языка.
Иногда сложно понять, какой язык нам ближе и нужнее. Хочется и аниме, и корейские дорамы смотреть в оригинале без субтитров, а то и отправиться в Китай или подняться на верхний этаж небоскрёба в ОАЭ. Если вы вдруг решили изучать восточную культуру и начать с языка, но никак не можете определиться, то этот тест для вас.
Сотни тысяч школьников ищут способ упростить себе подготовку к экзамену по литературе. Кто-то ищет краткие пересказы произведений, а кто-то просит помощи у нейросети, не догадываясь, что та может оказать им медвежью услугу. Насколько точен и адекватен анализ от ИИ? Чтобы узнать это, мы провели эксперимент и протестировали три самых популярных нейросети.
«Системный Блокъ» рассказывает о первой в Японии VR-школе. Ученики этой школы посещают занятия онлайн в Метавселенной, выбрав 3D-аватар в стиле аниме. Несмотря на необычный формат, проект одобрен Минобразования Японии, учебный план соответствует стандартам, а выпускные документы имеют официальный статус.
Даже заядлому поклоннику ночного сёрфинга по страницам Википедии может быть непросто собирать и систематизировать большой объём информации из свободной энциклопедии. Для работы с такими данными были созданы Викиданные (Wikidata) — большая и удобная база данных на основе Википедии. Разберёмся, как с ней работать и когда она может быть полезна.
Современным археологам недостаточно лопаты, мастерка и кисточки для полевой работы. Чтобы обнаружить скрытые в густых лесах под слоем почвы города и дороги, учёные сканируют пространство с помощью лазера. Рассказываем, как работает LiDAR — технология, которая сегодня есть в обычном айфоне, и как LiDAR помогает делать археологические открытия в джунглях Амазонки, на Тихоокеанских островах и прямо посреди Европы.
Образование — право каждого, а инклюзивное образование — способ дотянуться до тех, кто этого права был лишён. Современные цифровые технологии позволяют сделать знания доступными для всех, независимо от физических или ментальных особенностей. В статье разберём международные и российские примеры успешного применения инклюзивных технологий в школах и университетах.
Как Линней придумал таксономию живых организмов, в чём польза игральных карт для каталогизации знания и сколько человек нужно, чтобы описать 30 тыс. книг? Исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов продолжает рассказывать о том, как развивалась идея библиотечного каталога с XVI века и до наших дней, на страницах издания «Системный Блокъ».
О человеке можно многое понять по его высказываниям. Пройдите тест и узнайте, на кого из персонажей «Войны и мира» Л. Н. Толстого вы больше похожи по манере общения.
Часто на открытках печатают красивые и яркие фотографии городских достопримечательностей и улиц. В нашем тесте мы предлагаем вам угадать город с открытки — это не так просто, как кажется!
Эйнштейн объясняет старшеклассникам теорию относительности. Маяковский читает стихи у доски. Ученик «обменивается» телом с учителем, а у педагогов остаётся время на саморазвитие. Как дипфейки могут сделать учебный процесс интереснее?
Что такое литературное школьное образование — только ли книжки, которые год за годом читают ученики? И что из себя представляет «школьный канон»? Кажется, что нет поколения, которое бы не обошлось без «Дубровского» или «Муму», «Преступления и наказания» и «Мастера и Маргариты». Так ли это? Представить состав школьной программы по литературе на протяжении 170 лет и проследить его изменения — такова цель проекта Высшей школы экономики «Список чтения».
По данным ООН, закрытие школ во время пандемии, сокращение и автоматизация рабочих мест отодвинули равноправие женщин и мужчин на 31 год — со 100 лет до 131. Могут ли онлайн-образование и EdTech помочь наверстать этот разрыв и сократить его ещё больше? Разбираем в нашем материале.
Биологи, экологи и географы используют машинное обучение для предсказания ареалов самых разных живых существ — в прошлом, настоящем и будущем. Из нашего материала вы узнаете, что такое экологическая ниша, где в Воронежской области можно найти первоцвет B. versicolor, и разберёмся, почему синицы якобы предпочитают Москву, но не Тверь.
Продолжаем наше руководство по анализу текста с помощью Voyant Tools. В прошлом материале мы рассказали, как загрузить и подготовить корпус. Теперь рассмотрим, как исследовать и визуализировать ваши материалы. Автор материала — Екатерина Волженина, выпускница DH-магистратуры НИУ ВШЭ в Москве, историк, менеджер центра глубинного обучения и байесовских методов ФКН.
«Системный Блокъ» пополняет свою коллекцию гайдов. Сегодня покажем, как сделать анализ текстов с помощью Voyant Tools, популярного инструмента среди цифровых гуманитариев. Разнообразные визуализации, частотный анализ, тренды, коллокации — вот только часть возможностей инструмента. Автор материала — Екатерина Волженина, выпускница DH-магистратуры НИУ ВШЭ в Москве, историк, менеджер центра глубинного обучения и байесовских методов ФКН.
Мы уже рассказывали, как работать с японским языком с помощью сервиса Voyant Tools. Покажем, как можно самостоятельно провести токенизацию текстов на японском, применяя библиотеку fugashi, которая способна также провести морфологический анализ и выделять именованные сущности.
Специально для вас мы попросили нейросети сгенерировать изображения. Пройдите тест и проверьте, сможете ли вы понять, результатом какого запроса является картинка перед вами.
С сентября 2022 года во всех российских школах ввели новый предмет — «Разговоры о важном». По замыслу составителей курса, данный предмет должен показывать школьникам, что происходит в мире, и формировать у них определённые ценности. Предлагаем пройти наш тест и понять, насколько хорошо вы знакомы с этим новым предметом.
Учёные из Монреальского университета долго задавались вопросом, как понять, что животному больно, и вовремя помочь ему. Результатом их эксперимента стала шкала кошачьей боли. Пройдите наш тест и узнайте, как она создавалась. Подробности о работе учёных можно прочитать в нашем материале.