Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Год выпуска: 2018
Описание
Языковая модель (Embeddings from Language Model), которая позволяет извлекать контекстуализированные векторные представления слов. В отличие от Word2Vec и GloVe вектор слова зависит от контекста, в который оно помещено. Так, например, векторы слова «газ» в предложении «Газ доставляется по трубе» и в предложении «Я не люблю воду без газа», полученные ELMO, будут отличаться друг от друга, а векторы Word2vec будут идентичными.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Векторные представления учитывают контекст. ELMO стала первой в своём роде универсальной языковой моделью, которую относительно легко дообучить на конкретную задачу.
Количество параметров: 13.6M — 93.6M
Область: NLP
США усилили контроль над лидирующими ИИ моделями, ученые смогли полностью прочитать античный свиток, не разворачивая его — что произошло в…
Агенты, которые самостоятельно планируют свои действия и пользуются внешними инструментами. Модели, способные работать с миллионами токенов. Системы, которые помогают сохранять…
Теперь в него входят тексты ВКонтакте — почти 11,3 млрд слов из соцсетей