Общение с чат-ботами и голосовыми помощниками стало частью повседневного опыта. Мы спрашиваем у нейросетей о погоде и пробках, просим переводить и сочинять тексты, проверяем их способности стихосложения и иногда даже делимся сокровенными секретами. СБъ уже не раз рассказывал о работе языковых моделей, которые делают боты более человечными. Предлагаем освежить знания и прочитать материал из глоссария про наиболее крупную и продвинутую языковую модель в мире – GPT-3
GPT-3 (Generative Pre-trained Transformer 3) – наиболее крупная и продвинутая языковая модель в мире от компании OpenAI. Она умеет логично заканчивать повествование, писать развернутые эссе на заданную тему, сочинять стихи и делать перевод.
Нейросеть относится к третьему поколению моделей обработки естественного языка с архитектурой «трансформер», которую представили исследователи из Google Brain в 2017 году (подробнее о трансформерах СБъ писал здесь). Генеративные сети-трансформеры, так же как и языковые модели с другой архитектурой, предсказывают, какое слово появится в тексте. Сети-трансформеры делают это гораздо быстрее своих предшественников, при этом используют меньшие вычислительные мощности. Они хорошо запоминают сложные зависимости между словами и лучше других выделяют наиболее важные слова из контекста. Подробнее об архитектуре и обучении языковой модели можно почитать в нашем материале.
В отличие от своих предшественников GPT-3 запоминает гораздо больше информации и выдает наиболее связный и логичный текст. Языковая модель обработала 600 гигабайт текста при обучении и сейчас имеет 175 млрд параметров – переменных, от которых зависит точность работы системы. В основном GPT-3 обучали на англоязычных данных разного типа: веб-архив Common Crawl с данными из интернета и триллионом слов, статьи из Википедии и СМИ, книги, стихи, сайты различной тематики. На других языках она пишет не так хорошо, но зато умеет переводить, так как примерно 7% датасета – иностранные тексты.
GPT-3 может по введенному тексту угадать, чего от нее ждут. Например, закончить известную фразу, продолжить логический ряд из названий рок-групп. Она умеет писать неотличимые (ну или почти) от человеческих тексты. Контекст алгоритма выходит за рамки того текста, который предлагает ей пользователь. При генерации ответа GPT-3 использует все материалы, которые прочитала в интернете. Поэтому она может написать развернутое эссе, даже если пользователь ввел лишь одно слово. По той же схеме работает языковая модель YaLM – адаптированная GPT-3 на русском. Проверить ее возможности можете сами в «Балабобе».
GPT-3 находится в закрытом доступе, разработчики опасаются вреда, который она может причинить. Сейчас модель используют более трехсот приложений: онлайн-службы поддержки, чат-боты, игры. Бизнес, как правило, использует GPT-3 для написания различных текстов: рассылок, рекламы и т.д. Тем не менее нейросеть все еще может ошибаться, приводить ложные аргументы или генерировать тексты, которые не связаны с реальностью. Разработчики решили устранить этот пробел и научили языковую модель ссылаться на использованные источники.
Кстати, про GPT-3 мы говорили в восьмом выпуске нашего подкаста «Неопознанный Искусственный Интеллект». Вы можете прослушать его на Яндекс.Музыке или прочитать расшифровку выпуска здесь.
США усилили контроль над лидирующими ИИ моделями, ученые смогли полностью прочитать античный свиток, не разворачивая его — что произошло в…
Агенты, которые самостоятельно планируют свои действия и пользуются внешними инструментами. Модели, способные работать с миллионами токенов. Системы, которые помогают сохранять…
Теперь в него входят тексты ВКонтакте — почти 11,3 млрд слов из соцсетей