Если спросить, какое слово ближе к слову «король»: «правитель» или «рабочий», почти все ответят, что «правитель», конечно же, ближе. Это кажется очевидным почти всякому человеку, но как можно объяснить это компьютеру? Сегодня это легко решается представлением значений слов с помощью векторов. Векторные представления слов позволяют хранить семантику слов в понятном для компьютера виде.
Сможем ли мы отличить «Мастера и Маргариту» от «12 стульев»? Скорее всего, не ошибемся. А что если заменить некоторые слова из оригинальных произведений на близкие по значению с помощью векторной модели на базе word2vec? Предлагаем вам пройти наш тест и проверить, насколько хорошо получится опознать классические тексты, если некоторые слова в них будут модифицированы.
NLP-библиотека FastText от Facebook Research стала следующим после Word2Vec большим шагом в развитии векторных семантических моделей и машинного обучения в обработке текста. Рассказываем, чем хороши модели FastTest — и как и где с ними поработать