Новая модель содержит 540 миллиардов параметров, за счет чего способна объяснять шутки и угадывать фильмы по эмодзи.
Иллюстратор: Женя Родикова
Google AI Research представила новую языковую модель PaLM (Pathways Language Model). Как и модель GPT-3, про которую мы много писали ранее, PaLM относится к так называемым большим языковым моделям.
PaLM анализирует естественный язык и может генерировать текст в ответ. Модели удается выстраивать логические цепочки и отличать причину от следствия. Кроме того, система способна объяснять шутки, логически рассуждать, пояснять свои действия, а также угадывать фильм по эмодзи. Несмотря на то, что в датасете для обучения содержалось всего 5% текстов на языках программирования, PaLM удается генерировать код по описанию, переводить его с одного языка программирования на другой и даже исправлять ошибки компиляции.
PaLM может применяться для задач few-short learning, то есть способна решать новую задачу, увидев небольшое количество размеченных примеров. Новая модель обучена на многоязычных наборах, а не только на английском языке. Среди них — веб-документы, книги, Википедия, разговоры и код GitHub.
По словам создателей, при обучении данной языковой модели эффективно использовалась производительность вычислительных систем. Создателями применялась стратегия параллелизма по данным, согласно которой модель обучается на нескольких вычислителях (в случае PaLM – TPU), притом на каждом вычислителе используется только часть обучающей выборки.
Источник: https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1
США усилили контроль над лидирующими ИИ моделями, ученые смогли полностью прочитать античный свиток, не разворачивая его — что произошло в…
Агенты, которые самостоятельно планируют свои действия и пользуются внешними инструментами. Модели, способные работать с миллионами токенов. Системы, которые помогают сохранять…
Теперь в него входят тексты ВКонтакте — почти 11,3 млрд слов из соцсетей