Self-Supervision

Модели

BERT

Одна из первых больших языковых моделей, использующих архитектуру Transformer
Модели

ELMo

Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Модели

FastText

Модель учитывает семантику частей слов, за счёт чего лучше понимает слова с опечатками и слова не из словаря.
Модели

GloVe

Улучшение Word2Vec, которое учитывает не только локальные взаимосвязи слов, но и связи слов в рамках всего корпуса
Модели

Word2Vec

Модель, которая преобразовывает слова в числовые векторы, отражающие семантические значения и взаимосвязи слов