Улучшение Word2Vec, которое учитывает не только локальные взаимосвязи слов, но и связи слов в рамках всего корпуса
Год выпуска: 2014
Описание
Модель (Global Vectors) преобразует слова в семантические векторы. Если два слова похожи по значению, то расстояние между их векторами также будет невелико. Во время обучения модели используются глобальные статистики, извлеченные из корпуса, то есть учитываются не только сведения о локальном контексте слова.
Примеры использования:
Нововведения
В отличие от Word2Vec Glove учитывает не локальный контекст слова, а глобальную связь с другими словами в корпусе
Количество параметров: V * d, где V – размер словаря, d – размерность вектора
Область: NLP
Компания Google представила много новых ИИ-продуктов, а модель GPT опровергла известную математическую гипотезу Пала Эрдёша — рассказываем, что произошло в мире ИИ за последнее время
Facebook* и Instagram* будут сканировать фото и видео, чтобы находить детей, которые скрыли свой возраст
Можно ли заниматься NLP, если при словах «производная» и «матрица» хочется закрыть ноутбук? Да — если изучать математику не абстрактно, а через реальные задачи. Объясняем, какие разделы действительно нужны джуну,…