Швейцария выпустила полностью открытую LLM Apetus

В рамках Swiss AI Initiative исследователи из разных научных учреждений Швейцарии разработали языковую модель Apetus. Вместе с моделью опубликован подробный технический отчет, описывающий сбор обучающих данных, процесс обучения и тестирования. Подобная степень открытости — редкость в мире LLM: обычно в открытом доступе появляются лишь сами веса модели и краткие описания.

Apetus выпущена в двух вариантах — на 8 и 70 млрд параметров. Ее ключевая особенность — поддержка 1811 языков, что делает модель особенно полезной для задач машинного перевода, включая малоресурсные языки. На основных тестах по английскому и другим распространенным языкам Apetus демонстрирует результаты, сопоставимые с аналогичными моделями такого же масштаба. Веса модели и отчет доступны здесь.

Почему это важно?

Создание больших языковых моделей требует колоссальных инвестиций, поэтому их разработкой в основном занимаются частные компании, ориентированные на коммерческую выгоду. В результате многие модели и методы их обучения остаются закрытыми, а академическое сообщество оказывается в стороне от передовых технологий.Швейцария выделила для ИИ исследований 10 млн часов вычислений на суперкомпьютере Alps. Это сделало возможным выпуск полностью открытой языковой модели. Подобные инициативы расширяют доступ исследователей к передовым инструментам ИИ и снижают зависимость науки от корпоративных интересов. Помимо Швейцарии, крупные государственные инвестиции в ИИ сегодня делают США, Китай и Франция.