Мультимодальная модель, способная строить векторные представления текстов и изображений
Одна из первых больших языковых моделей, использующих архитектуру Transformer
Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Модель учитывает семантику частей слов, за счёт чего лучше понимает слова с опечатками и слова не из словаря.
Улучшение Word2Vec, которое учитывает не только локальные взаимосвязи слов, но и связи слов в рамках всего корпуса
Модель, которая преобразовывает слова в числовые векторы, отражающие семантические значения и взаимосвязи слов