Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Год выпуска: 2018
Описание
Языковая модель (Embeddings from Language Model), которая позволяет извлекать контекстуализированные векторные представления слов. В отличие от Word2Vec и GloVe вектор слова зависит от контекста, в который оно помещено. Так, например, векторы слова «газ» в предложении «Газ доставляется по трубе» и в предложении «Я не люблю воду без газа», полученные ELMO, будут отличаться друг от друга, а векторы Word2vec будут идентичными.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Векторные представления учитывают контекст. ELMO стала первой в своём роде универсальной языковой моделью, которую относительно легко дообучить на конкретную задачу.
Количество параметров: 13.6M — 93.6M
Область: NLP
В 1989 году два брата из Гвинеи, которым было всего 14 и 10 лет, решили придумать письменность для родного языка.…
Предприниматель требовал компенсацию за использование изображений, которые он сделал с помощью нейросети, но суд отказал
Выбираете между зеленой совой, карточками и «умными» чат-ботами? Мы собрали стратегию самостоятельного и осмысленного изучения иностранного языка — от первых…