Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Год выпуска: 2018
Описание
Языковая модель (Embeddings from Language Model), которая позволяет извлекать контекстуализированные векторные представления слов. В отличие от Word2Vec и GloVe вектор слова зависит от контекста, в который оно помещено. Так, например, векторы слова «газ» в предложении «Газ доставляется по трубе» и в предложении «Я не люблю воду без газа», полученные ELMO, будут отличаться друг от друга, а векторы Word2vec будут идентичными.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Векторные представления учитывают контекст. ELMO стала первой в своём роде универсальной языковой моделью, которую относительно легко дообучить на конкретную задачу.
Количество параметров: 13.6M — 93.6M
Область: NLP
Компания Google представила много новых ИИ-продуктов, а модель GPT опровергла известную математическую гипотезу Пала Эрдёша — рассказываем, что произошло в мире ИИ за последнее время
Facebook* и Instagram* будут сканировать фото и видео, чтобы находить детей, которые скрыли свой возраст
Можно ли заниматься NLP, если при словах «производная» и «матрица» хочется закрыть ноутбук? Да — если изучать математику не абстрактно, а через реальные задачи. Объясняем, какие разделы действительно нужны джуну,…