Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Год выпуска: 2018
Описание
Языковая модель (Embeddings from Language Model), которая позволяет извлекать контекстуализированные векторные представления слов. В отличие от Word2Vec и GloVe вектор слова зависит от контекста, в который оно помещено. Так, например, векторы слова «газ» в предложении «Газ доставляется по трубе» и в предложении «Я не люблю воду без газа», полученные ELMO, будут отличаться друг от друга, а векторы Word2vec будут идентичными.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Векторные представления учитывают контекст. ELMO стала первой в своём роде универсальной языковой моделью, которую относительно легко дообучить на конкретную задачу.
Количество параметров: 13.6M — 93.6M
Область: NLP
The Talking Museum позволяет изучать 3D-артефакты и задавать вопросы об их истории и особенностях Gemini
Представьте общение в интернете без аккаунтов и аватарок: есть только тред и реплики без подписи. В Японии такие анонимные форумы,…
До появления социальных сетей открытка была не только красивой картинкой, но и способом отправить короткое сообщение — от поздравления до…