NVIDIA представила четыре специализированные модели Cosmos 3 для создания синтетических данных и интерактивных сред. Две работают со сценами вождения и показаниями автомобильных сенсоров, ещё две — с визуальными наблюдениями для роботов. Все четыре получили открытые веса.

Материал компании вышел 5 ноября, при этом в карточках моделей датой выпуска указано 20 октября 2026 года. Новинки созданы дообучением Cosmos 3 Nano и содержат по 16 млрд обучаемых параметров. Они распространяются по лицензии OpenMDW1.1, допускающей коммерческое и некоммерческое использование при соблюдении её условий.

Модели нужны, чтобы разработчики проверяли поведение автономной системы при изменении окружающей среды. Изображение должно соответствовать действиям системы управления, а данные разных сенсоров — согласовываться между собой: например, автомобиль получает совместимые наблюдения от камер и LiDAR при смене дорожной обстановки, освещения или положения других машин.

Cosmos3-Nano-Transfer-Auto готовит синтетические данные пакетно: генерирует синхронизированное видео с числом ракурсов до 11, включая камеры с объективом «рыбий глаз», и поддерживает совместную генерацию изображений и данных LiDAR. Структуру сцены задают управляющие представления World Scenario Map — разметка, светофоры, знаки и положение объектов, а текстовый запрос отвечает за погоду, освещение и время суток.

Cosmos3-Nano-Sim-Auto — потоковый вариант Transfer-Auto, полученный каузальной дистилляцией. Он создаёт короткие фрагменты видео и данных LiDAR по уже сгенерированной истории и новым управляющим сигналам, что позволяет замкнуть цикл: система управления получает наблюдения, выбирает действие, а среда формирует следующие данные с учётом этого действия.

Для роботов Cosmos3-Nano-Sim-Transfer превращает выходные данные физического симулятора в фотореалистичное видео, используя карты глубины, маски сегментации, контуры объектов или размытые изображения. Cosmos3-Nano-Sim-Bimanual предсказывает изменения сцены по действиям робота или движениям камеры и поддерживает симуляцию двух манипуляторов для платформ YAM и AgiBot.

Веса опубликованы в коллекции NVIDIA на Hugging Face, там же доступны примеры запуска и инструкции по дообучению в Cosmos Framework. NVIDIA отмечает, что исследователям ещё предстоит оценить достоверность таких сред и разобраться в их ограничениях, а качество дообучения рекомендует проверять на отложенных эпизодах.