Google AI Research представила новую языковую модель PaLM

Google AI Research представила новую языковую модель PaLM (Pathways Language Model). Как и модель GPT-3, про которую мы много писали ранее, PaLM относится к так называемым большим языковым моделям.

PaLM анализирует естественный язык и может генерировать текст в ответ. Модели удается  выстраивать логические цепочки и отличать причину от следствия. Кроме того, система способна  объяснять шутки, логически рассуждать, пояснять свои действия, а также угадывать фильм по эмодзи. Несмотря на то, что в датасете для обучения содержалось всего 5% текстов на языках программирования, PaLM удается генерировать код по описанию, переводить его с одного языка программирования на другой и даже исправлять ошибки компиляции. 

PaLM может применяться для задач  few-short learning, то есть способна решать новую задачу, увидев небольшое количество размеченных примеров. Новая модель обучена на многоязычных наборах, а не только на английском языке. Среди них — веб-документы, книги, Википедия, разговоры и код GitHub.

По словам создателей,  при обучении данной языковой модели эффективно использовалась  производительность вычислительных систем. Создателями применялась стратегия параллелизма по данным, согласно которой модель обучается на нескольких вычислителях (в случае PaLM – TPU), притом на каждом вычислителе используется только часть обучающей выборки.

Источник: https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1