Общение с чат-ботами и голосовыми помощниками стало частью повседневного опыта. Мы спрашиваем у нейросетей о погоде и пробках, просим переводить и сочинять тексты, проверяем их способности стихосложения и иногда даже делимся сокровенными секретами. СБъ уже не раз рассказывал о работе языковых моделей, которые делают боты более человечными. Предлагаем освежить знания и прочитать материал из глоссария про наиболее крупную и продвинутую языковую модель в мире – GPT-3
GPT-3 (Generative Pre-trained Transformer 3) – наиболее крупная и продвинутая языковая модель в мире от компании OpenAI. Она умеет логично заканчивать повествование, писать развернутые эссе на заданную тему, сочинять стихи и делать перевод.
Нейросеть относится к третьему поколению моделей обработки естественного языка с архитектурой «трансформер», которую представили исследователи из Google Brain в 2017 году (подробнее о трансформерах СБъ писал здесь). Генеративные сети-трансформеры, так же как и языковые модели с другой архитектурой, предсказывают, какое слово появится в тексте. Сети-трансформеры делают это гораздо быстрее своих предшественников, при этом используют меньшие вычислительные мощности. Они хорошо запоминают сложные зависимости между словами и лучше других выделяют наиболее важные слова из контекста. Подробнее об архитектуре и обучении языковой модели можно почитать в нашем материале.
В отличие от своих предшественников GPT-3 запоминает гораздо больше информации и выдает наиболее связный и логичный текст. Языковая модель обработала 600 гигабайт текста при обучении и сейчас имеет 175 млрд параметров – переменных, от которых зависит точность работы системы. В основном GPT-3 обучали на англоязычных данных разного типа: веб-архив Common Crawl с данными из интернета и триллионом слов, статьи из Википедии и СМИ, книги, стихи, сайты различной тематики. На других языках она пишет не так хорошо, но зато умеет переводить, так как примерно 7% датасета – иностранные тексты.
GPT-3 может по введенному тексту угадать, чего от нее ждут. Например, закончить известную фразу, продолжить логический ряд из названий рок-групп. Она умеет писать неотличимые (ну или почти) от человеческих тексты. Контекст алгоритма выходит за рамки того текста, который предлагает ей пользователь. При генерации ответа GPT-3 использует все материалы, которые прочитала в интернете. Поэтому она может написать развернутое эссе, даже если пользователь ввел лишь одно слово. По той же схеме работает языковая модель YaLM – адаптированная GPT-3 на русском. Проверить ее возможности можете сами в «Балабобе».
GPT-3 находится в закрытом доступе, разработчики опасаются вреда, который она может причинить. Сейчас модель используют более трехсот приложений: онлайн-службы поддержки, чат-боты, игры. Бизнес, как правило, использует GPT-3 для написания различных текстов: рассылок, рекламы и т.д. Тем не менее нейросеть все еще может ошибаться, приводить ложные аргументы или генерировать тексты, которые не связаны с реальностью. Разработчики решили устранить этот пробел и научили языковую модель ссылаться на использованные источники.
Кстати, про GPT-3 мы говорили в восьмом выпуске нашего подкаста «Неопознанный Искусственный Интеллект». Вы можете прослушать его на Яндекс.Музыке или прочитать расшифровку выпуска здесь.
Компания Google представила много новых ИИ-продуктов, а модель GPT опровергла известную математическую гипотезу Пала Эрдёша — рассказываем, что произошло в мире ИИ за последнее время
Facebook* и Instagram* будут сканировать фото и видео, чтобы находить детей, которые скрыли свой возраст
Можно ли заниматься NLP, если при словах «производная» и «матрица» хочется закрыть ноутбук? Да — если изучать математику не абстрактно, а через реальные задачи. Объясняем, какие разделы действительно нужны джуну,…