Год выпуска: 2021
Описание
Третье поколеник языковых моделей GPT (Generative Pre-training Transformer). Ключевые изменения – увеличение размера модели и размера обучающей выборки. За счёт этого модель ещё лучше решает задачи без дообучения, либо с дообучением на очень ограниченном количестве данных.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
- Большее число параметров и большее количество обучающих данных
- Улучшенные возможности Zero-/Few- shot Learning
Количество параметров: 175B
Автор: Системный Блокъ