GPT-2

Второе поколение языковых моделей GPT (Generative Pre-training Transformer). Ключевое отличие от GPT-1 – увеличение размера модели и размера обучающей выборки. Благодаря этому модель способна решать широкий спектр задач, под которые она не обучалась, без какого-либо дообучения. За счёт гибкости и экспрессивности естественного языка большинство задач можно выразить в виде текста, а затем подать модели на вход. Так, модели можно подать на вход запрос вида «Слово кошка на английском будет:», и она выдаст ответ «cat», или же подать вопрос с несколькими вариантами ответа, вроде: «Воробей – это 1) птица 2) рыба 3) растение; номер правильного ответа: », на что она ответит «1)». 



Примеры использования:

Основа для решения большиства задач автоматической обработки языка

Нововведения

На порядок большее количество параметров и большая по размеру обучающая выборка. Модель умеет решать новые задачи без дообучения (zero-/few- shot learning)

Количество параметров: 1.5B