Одна из первых больших языковых моделей, использующих архитектуру Transformer
Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Модель учитывает семантику частей слов, за счёт чего лучше понимает слова с опечатками и слова не из словаря.
Улучшение Word2Vec, которое учитывает не только локальные взаимосвязи слов, но и связи слов в рамках всего корпуса
Модель, которая преобразовывает слова в числовые векторы, отражающие семантические значения и взаимосвязи слов