Модели

GloVe

Улучшение Word2Vec, которое учитывает не только локальные взаимосвязи слов, но и связи слов в рамках всего корпуса

date_range

Год выпуска: 2014

assignment

Описание

Модель (Global Vectors) преобразует слова в семантические векторы. Если два слова похожи по значению, то расстояние между их векторами также будет невелико. Во время обучения модели используются глобальные статистики, извлеченные из корпуса, то есть учитываются не только сведения о локальном контексте слова. 

Примеры использования:

  • Поиск документов по текстовому запросу
  • Кластеризация, классификация текстов
  • Использование в качестве инициализации матрицы эмбеддингов языковых моделей

Нововведения

В отличие от Word2Vec Glove учитывает не локальный контекст слова, а глобальную связь с другими словами в корпусе

Количество параметров: V * d, где V – размер словаря, d – размерность вектора

Область: NLP

Share

Recent Posts

Как новый африканский алфавит пробился в Unicode: цифровая жизнь адлама

В 1989 году два брата из Гвинеи, которым было всего 14 и 10 лет, решили придумать письменность для родного языка.…

26.08.2026

Российский суд не признал копирайт на сгенерированную Джоконду

Предприниматель требовал компенсацию за использование изображений, которые он сделал с помощью нейросети, но суд отказал

24.08.2026

Как самостоятельно учить иностранный язык?

Выбираете между зеленой совой, карточками и «умными» чат-ботами? Мы собрали стратегию самостоятельного и осмысленного изучения иностранного языка — от первых…

20.08.2026