GPT

Языковая модель (Generative Pre-training Transformer), используящая decoder only transformer архитектуру. В отличие от BERT GPT была обучена на классической задаче моделирования языка – задаче предсказания следующего токена по предыдущим. За счёт обучения под такую задачу на большом корпусе текстов GPT можно дообучить под конкретную задачу на относительно небольшой выборке. 

Примеры использования: основа для решения большинства задач автоматической обработки языка

Нововведения: из-за обучения генеративной задачи (Causal Language Modeling) модель можно дообучить под конкретные задачи без существенно изменения её архитектуры: например, в случае задачи Natural Language Inference можно объединить текст посылки (premise) и текст возможно следствия этой посылки (hypothesis), подать на вход предобученной GPT и на её выходе обучить простой линейный классификатор.

Количество параметров: 117M

Область: NLP