GPT и Gemini победили на чемпионате по программированию

Сразу два лидера в области LLM заняли призовые места в ICPC — Международном студенческом командном чемпионате по программированию.  

Обеим командам предоставили столько же времени, сколько и обычным участникам. Команда OpenAI заняла первое место, решив все 12 задач, Google — второе, решив 10.  

OpenAI использовала три модели: GPT-5 и экспериментальную рассуждающую модель — для генерации решений, и отдельную модель для выбора финального решения из набора кандидатов. Ни одна из них не обучалась специально для ICPC. GPT-5 решила 11 задач, а последнюю самую сложную — экспериментальная модель. Этот же набор моделей недавно победил и на олимпиаде по математике, что подчеркивает универсальность моделей и подхода.

Google использовала модель Gemini 2.5 в режиме продвинутых рассуждений DeepThink. Примечательно, что на отдельных задачах она показала время лучше, чем у самых быстрых участников.

Обе модели справилась с задачей, которую не решила ни одна человеческая команда. Среди людей первое место заняла команда университета ИТМО из Санкт-Петербурга, решив 11 задач. Второе и третье места достались командам из Японии и Китая соответственно, с результатом в 10 задач.  

Почему это важно?

Модели этих же компаний недавно одержали победу и на олимпиаде по математике.

И OpenAI, и Google используют исключительно языковые модели общего назначения, а не специализированные системы для отдельных задач. Это наглядно демонстрирует потенциал больших языковых моделей в решении сложных технических и наукоемких проблем.

Также лидерство в соревнованиях с людьми показывает прогресс в развитии LLM. К примеру, модели 2023 года не всегда генерировали корректный код. Однако эти успехи не полностью отображают качество моделей. Модели все так же часто ошибаются в более простых задачах и галлюцинируют.