Google DeepMind открыла доступ к Genie 3

Лаборатория Google DeepMind открыла публичный доступ к Genie 3 — третьему поколению «модели мира», о которой мы уже подробно писали. Теперь любой пользователь может генерировать интерактивные виртуальные среды по текстовому описанию, свободно перемещаться в них и управлять ими в реальном времени.

Практически одновременно компания Waymo, разрабатывающая автопилотное такси, представила Waymo World Model — специализированную версию Genie 3 для симуляции автономного вождения.

Waymo World Model генерирует реалистичные данные с камер и лидаров, воспроизводя то, как автопилот «видит» дорожную ситуацию. Благодаря базовым знаниям Genie 3 о физическом мире система симулирует исключительно редкие события: торнадо, наводнения, встречу со слоном на д byороге или неисправный грузовик во встречном направлении.

Модель поддерживает три типа управления: команды вождения (проверка альтернативных маневров), изменение дорожной сцены (расстановка объектов, светофоров) и текстовые запросы (смена времени суток, погоды). Waymo World Model может также преобразовывать видео с обычных регистраторов в мультисенсорную симуляцию.

Почему это важно?

Случай с Waymo демонстрирует одно из ключевых применений «моделей мира» — генерацию обучающих и тестовых данных для роботов и автономных систем. Такие модели могут создавать сотни часов симуляций редких ситуаций, которые сложно собрать в реальности, будь то приготовление еды для обучения роботов или экстремальные дорожные условия для беспилотников.