Китайская лаборатория MoonshotAI опубликовала языковую модель Kimi K2 с 1 триллионом параметров. Это первая модель такого размера в открытом доступе.
LLM использует архитектуру Mixture of Experts: во время генерации ответа модель задействует лишь часть всех параметров (их называют активными). Какие именно параметры используются, зависит от конкретного запроса пользователя. Всего у модели 32 млрд активных параметров — 3,2% от общего числа. Вместе с моделью лаборатория выпустила технический отчет. До выхода Kimi K2 самой большой открытой моделью была DeepSeek V3, которая в 1,5 раза меньше.
Модель не способна генерировать цепочки рассуждений. В сравнении с моделями без режима рассуждений Kimi K2 либо сопоставима, либо существенно превосходит конкурентов — особенно в задачах программирования.
Модель доступна для тестирования на официальном сайте или через API.
Контекст
На рынке языковых моделей существуют проприетарные решения, разрабатываемые крупными лабораториями и корпорациями, и открытые модели, чаще (но не всегда) создаваемые независимыми компаниями.
Из-за высокой конкуренции создатели проприетарных LLM не раскрывают технические подробности своих моделей — в частности, не публикуют детальные технические отчеты и статьи. Разработчики открытых решений, напротив, раскрывают технические детали, публикуют сами модели и иногда код для их обучения, что особенно важно из-за инженерной сложности обучения моделей такого масштаба.
Open-source сообщество вносит большой вклад в развитие всей области — зачастую проприетарные компании используют его разработки. Также оно создает серьезную конкуренцию коммерческим решениям, поскольку пользователи и бизнес могут разворачивать открытые модели на собственных серверах.
Обучение больших языковых моделей крайне сложно и дорого. До этого обучать модели размером порядка триллиона параметров умели только коммерческие компании уровня OpenAI и Google. Появление открытой модели с триллионом параметров стало большим достижением сообщества, сократившим разрыв с закрытыми техногигантами.