FastText

Модель для построения векторных представлений слов, отражающих их семантику. В отличие от Word2Vec и GloVe векторное представление слова строится по векторным представлениям его n-gram: векторное представление слова равно сумме векторных представлений составляющих его n-gram. Таким образом, модель выучивает внутреннюю структуру слов, что особенно полезно в случае морфологически богатых языков.

• поиск документов по текстовому запросу;
• кластеризация, классификация текстов;
• использование в качестве инициализации матрицы эмбеддингов языковых моделей

Учитывает морфемику, лучше справляется со словами с опечатками, позволяет получать векторные представления для слов, которые не встречались в обучающем корпусе.

Количество параметров: V * d, где V – размер словаря, d – размерность вектора

Область: NLP