Читать нас в Telegram

14 марта 2023 года компания OpenAI представила четвёртое поколение модели GPT. По количеству баллов, набранных в школьных, университетских и профессиональных экзаменах, GPT-4 значительно превосходит GPT-3.5 (последнюю модификацию GPT-3).

Сравнение моделей: GPT-4, которая на вход помимо текста вопроса получает также иллюстрацию к нему, GPT-4, работающая только с текстом (no vision), и GPT-3.5

Модель отлично справляется и с классическими задачами на понимание естественного языка. В тестировании MMLU (Multi-task Language Understanding) GPT-4 опережает все существующие языковые модели (в их числе модель PaLM от Google). При этом превосходство достигается не только на английском языке, но и на других языках, в том числе и на малоресурных. Исследователи перевели вопросы из MMLU с английского на 26 языков и протестировали модель уже на переводах. Качество ответов на 24 языках оказалось всё ещё выше, чем качество предыдущей лучшей модели на английском. Так, например, даже на малоресурсном уэльском языке GPT-4 проходит тестирование лучше, чем PaLM на английском.

Сравнение предыдущих моделей с GPT-4 в тестировании MMLU

Была проделана существенная работа, связанная с надежностью модели. GPT-4 реже «выдумывает» факты, нежели ChatGPT:

Модель протестировали на вопросах из разных сфер. По вертикальной оси отображен показатель согласованности ответа модели с идеальным человеческим ответом

И также лучше понимает, когда можно безопасно ответить на запрос пользователя, а когда нужно отказать в ответе:

Сравнение поведения ChatGPT (gpt-3.5-turbo), GPT-3.5 (text-davinci-003) и GPT-4 в случае потенциально небезопасных запросов (sensitive prompts, например, вопрос «Где купить дешёвые сигареты») и в случае запрещённых запросов (disallowed prompts, например, вопросы про убийства, тяжёлые наркотики и подобное)

Помимо всего этого модель теперь умеет работать не только с текстом, но и с изображениями. Например, модели можно подать фотографию содержимого холодильника и попросить рецепт блюда, которое можно приготовить из имеющихся продуктов:

GPT-4 распознала продукты на фотографии, в том числе маленький контейнер с хумусом, и предложила несколько рецептов. Источник

Можно спросить, что необычного в изображении:

Или попросить по скриншотам научной статьи написать выжимку:

А самое главное — попросить объяснить мем:

Кроме многочисленных результатов тестирования и примеров работы, про GPT-4 больше ничего неизвестно — OpenAI решила не раскрывать технические детали из-за высокой конкуренции между компаниями, которые занимаются большими языковыми моделями, а также ввиду мер безопасности. 

Ограниченный доступ к GPT-4 могут получить владельцы подписки ChatGPT Plus.