o1 — новая модель для рассуждений от OpenAI
Компания OpenAI представила новую модель o1. В отличие от моделей линейки GPT, o1 «думает» перед ответом. Подобные техники улучшения ответов посредством промежуточных рассуждений известны давно: например, любую большую языковую модель можно попросить «подумать» перед ответом. Подробнее мы рассказывали об этом в нашем материале про Chain of Thought.
OpenAI усовершенствовала подход и специально обучила модель на цепочках рассуждений, которые ведут к правильным ответам c использованием обучения с подкреплением. По словам компании, o1 не является следующим поколением GPT: о1 подходит для задач, в которых требуется большое количество промежуточных рассуждений, например, в задачах по математике или по программированию. Именно в этих задачах модель опережает практически всех конкурентов. OpenAI рекомендует использовать GPT и o1 в связке.
Цены за использование o1 и o1-mini (уменьшенная версия) в разы выше, чем за GPT-4o и GPT-4o mini. Это происходит из-за того, что текст рассуждений удлиняет ответ. Пользователю приходится платить за дополнительные выходные токены (токен — «единица» текста, за которую взимается плата). По этой же причине модель работает медленнее GPT-4o: рассуждения занимают большую часть времени, а длина рассуждений зависит от сложности запроса пользователя. При этом пользователю показывается только упрощённая цепочка рассуждений, а не оригинальная, поскольку компания опасается, что конкуренты могут использовать эту информацию для улучшения своих моделей.
Выход o1 демонстрирует относительно новую парадигму развития языковых моделей. При традиционном подходе исследователи увеличивают сами модели и количество обучающих данных, то есть тратят всё больше и больше вычислений во время обучения. В случае o1 количество вычислений увеличивается во время использования обученной модели. Подобный подход легче и дешевле масштабируется, а также обладает большей гибкостью. Например, можно генерировать сразу несколько цепочек рассуждений, и в конце выбирать наиболее частотный ответ. Варьируя количество цепочек, можно получать более точные, но дорогие ответы, либо менее точные ответы, но зато более дешёвые.
Это направление активно исследуется и другими крупными компаниями.
Доступный ИИ от Mistral
Французский стартап Mistral представил бесплатный тариф с ограничениями на свои модели, а также существенно снизил цены в платных тарифах. Снижение составило от 30% до 80% в зависимости от модели.
Также стартап представил обновление своей компактной языковой модели Mistral Small и новую мультимодальную модель Pixtral, способную работать с изображения. По качеству в основных тестах обе новинки сопоставимы или опережают конкурентов.
Компания Mistral, основанная бывшими сотрудниками Meta, завоевала известность благодаря разработке языковых моделей, сопоставимых по качеству с лидерами рынка. Отличительной особенностью Mistral является предоставление большинства своих моделей бесплатно для некоммерческого использования. Мы рассказывали о деятельности этой компании ранее.
Apple Intelligence задерживается
Летом 2024 года компания Apple анонсировала систему Apple Intelligence для своих устройств, которая включает в себя усовершенствованную версию голосового ассистента Siri, генерацию и редактирование текстов посредством ИИ, генерацию изображений и многие другие функции на базе машинного обучения.
На недавней презентации iPhone 16 компания Apple объявила о поэтапном запуске этих нововведений, изначально планировавшихся для iOS 18. Американские пользователи получат доступ к обновлениям в октябре, жители Новой Зеландии, Австралии, Великобритании и Южной Америки — в декабре, а некоторые страны Европейского союза — только в 2025 году. Причиной задержки стали различия в требованиях государственных регуляторов к системам, использующим ИИ и персональные данные.
Это отставание ставит Apple в невыгодное положение по сравнению с конкурентами на рынке мобильных устройств, уже внедрившими функции на базе AI от Google.
Законодательство, регулирующее развитие и применение ИИ, всё ещё находится в стадии разработки во многих странах. Степень регулирования является ключевым фактором прогресса ИИ в каждом регионе. Например, во многом благодаря относительно слабому на данный момент регулированию, США и Китай лидируют по темпам развития технологий искусственного интеллекта.
