Что такое языковая модель? Что общего между клавиатурой вашего телефона и GPT? Почему языковые модели умеют не только моделировать язык? Можно ли предсказать точность модели до её обучения? Отвечаем на все эти вопросы в нашем материале.
Новая модель содержит 540 миллиардов параметров, за счет чего способна объяснять шутки и угадывать фильмы по эмодзи.
GPT-3 — самая известная из современных нейросетевых моделей языка. Вокруг нее много мифов, но модель действительно умеет впечатлить. Она отлично справляется с написанием целых эссе на заданную тему, удачно отвечает на вопросы, а также пишет стихи и программный код. Рассказываем, как работает GPT-3.
Сегодня каждая большая IT-корпорация пытается сделать «еще более умную» нейросетевую языковую модель, которая решала бы сразу множество задач: и ответы на вопросы, и порождение правдоподобного текста по заданной теме, и краткий пересказ. Мы уже писали о BERT от Google и семействе GPT от OpenAI — настал черед UniLM от Microsoft
Многие знают о современных языковых моделях и спорят, что лучше: BERT или GPT-3. Но мало кто знает, по каким критериям оценивается их качество. Разбираемся, что делает языковую модель умной