Word2Vec

Модель, которая семантически пребразует слова в векторы. В основе работы модели лежит дистрибутивная гипотеза: если два слова часто встречаются в похожих контекстах, то эти два слова семантически похожи. Если два слова похожи, то расстояние между их векторами также будет невелико.

Помимо этого в пространстве векторов, образуемых моделями, можно производить различные семантические манипуляции: если вычесть из вектора слова «король» вектор слова «мужчина» и прибавить вектор слова «женщина», то получится вектор, близкий к вектору слова «королева».

Примеры использования:

• Поиск документов по текстовому запросу

• Кластеризация, классификация текстов

• Использование в качестве инициализации матрицы эмбеддингов языковых моделей

Векторные представления отображают семантику слов

Количество параметров: V * d, где V – размер словаря, d – размерность вектора

Область: NLP