Meta* анонсировала четвертое поколение своей open-source языковой модели Llama. Новая линейка включает версии разных размеров: Scout (109 млрд параметров), Maverick (400 млрд) и флагманскую Behemot (2 трлн параметров). Все модели используют архитектуру Mixture of Experts, благодаря которой задействуется только часть параметров при генерации ответа. Это позволяет улучшить эффективность и адаптивность работы.
Scout уже сейчас сопоставима с такими моделями, как Gemma 3 и Mistral Small 3.1, а Maverick опережает Gemini 2.0 Flash и GPT-4o по ряду метрик. Модель способна обрабатывать контент до 10 миллионов токенов, что может быть полезно при работе с кодом и большими текстовыми массивами.
Флагманская версия Behemot пока в процессе обучения, но уже демонстрирует превосходные результаты в задачах по естественным наукам.
* Компания Meta признана экстремистской организацией, а ее деятельность запрещена на территории РФ
