Третье поколение генеративных языковых моделей GPТ. Значительно больше GPT-2, умеет решать новые задачи без обучения
Год выпуска: 2021
Описание
Третье поколеник языковых моделей GPT (Generative Pre-training Transformer). Ключевые изменения – увеличение размера модели и размера обучающей выборки. За счёт этого модель ещё лучше решает задачи без дообучения, либо с дообучением на очень ограниченном количестве данных.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Количество параметров: 175B
США усилили контроль над лидирующими ИИ моделями, ученые смогли полностью прочитать античный свиток, не разворачивая его — что произошло в…
Агенты, которые самостоятельно планируют свои действия и пользуются внешними инструментами. Модели, способные работать с миллионами токенов. Системы, которые помогают сохранять…
Теперь в него входят тексты ВКонтакте — почти 11,3 млрд слов из соцсетей