fugashi

Востоковедение, Обзоры

Цифровые инструменты для японского языка: от словарей и распознавания до стилометрии

В новой подборке мы рассказываем об инструментах, которые используют востоковеды для изучения японского языка и цифровых исследований японских текстов: от онлайн-словарей до продвинутых методов стилометрии.
Востоковедение, Гайды

Text-mining японского текста: гайд по библиотеке fugashi

Мы уже рассказывали, как работать с японским языком с помощью сервиса Voyant Tools. Покажем, как можно самостоятельно провести токенизацию текстов на японском, применяя библиотеку fugashi, которая способна также провести морфологический анализ и выделять именованные сущности.