Национальному корпусу русского языка — 20 лет! По этому поводу мы приготовили для вас тест по уникальным словам русских писателей. Пройдите его — и узнаете, в чьих текстах раздавалось «хохотание» и происходило «требоисправление».
Словари языка писателей существовали и до цифровой эпохи. Например, «Словарь языка Пушкина» содержит все слова (более 20 тысяч!), когда-либо использованные поэтом. Он создавался почти век и собирался вручную. Сегодня есть электронные корпуса. На сайте Национального корпуса русского языка можно сравнить тексты Пушкина с произведениями других авторов и увидеть, что особенного было в языке поэта.
Cлова, которые встречаются только у одного автора, можно найти в большом массиве текстов методом извлечения ключевых слов TF-IDF. Если эти слова встречаются редко, человек легко может их пропустить, а вот компьютерный алгоритм заметит. Филолог Борис Орехов использовал этот статистический метод на материале текстов русских классиков из НКРЯ. Он нашёл редкие слова, характерные только для определённого писателя.
Проверьте, сможете ли вы узнать классика всего по одному авторскому словечку! Многие из слов прижились, а смысл некоторых не так очевиден.
Компания Google представила много новых ИИ-продуктов, а модель GPT опровергла известную математическую гипотезу Пала Эрдёша — рассказываем, что произошло в мире ИИ за последнее время
Facebook* и Instagram* будут сканировать фото и видео, чтобы находить детей, которые скрыли свой возраст
Можно ли заниматься NLP, если при словах «производная» и «матрица» хочется закрыть ноутбук? Да — если изучать математику не абстрактно, а через реальные задачи. Объясняем, какие разделы действительно нужны джуну,…