NVIDIA Cosmos 3 공개 — 로봇·자율주행을 위한 오픈 물리적 AI 세계 기반 모델

Cosmos 3란 무엇인가

NVIDIA Cosmos 3는 물리적 AI를 위한 프런티어 기반 모델(Foundation Model)이다. 기존 Cosmos 시리즈가 Predict(미래 예측), Transfer(도메인 변환), Reason(물리 이해), Policy(액션 생성) 등 역할별로 분리된 모델로 구성됐다면, Cosmos 3는 이 모든 기능을 **하나의 옴니모델(omnimodel)**로 통합했다.

이 모델은 다음을 동시에 처리할 수 있다.

• 입력: 텍스트, 이미지, 영상, 주변 사운드, 액션
• 출력: 텍스트, 이미지, 영상, 주변 사운드, 액션

물리 법칙을 준수하는 합성 영상 생성, 정책 훈련·평가를 위한 폐쇄 루프 시뮬레이션, 로봇용 세계 액션 모델(WAM) 구축이 단일 모델로 가능해진다.

두 가지 모델: Nano vs Super

NVIDIA는 Cosmos 3를 두 가지 크기로 출시했다.

Super 모델은 데이터센터 환경에서 대규모 합성 데이터 생성과 고도화된 물리 추론에 최적화됐고, Nano 모델은 워크스테이션급 GPU에서 로봇의 실시간 추론을 지원한다.

혼합 트랜스포머 아키텍처

Cosmos 3의 핵심은 Mixture-of-Transformers(MoT) 아키텍처다. 이 구조는 기존 비전-언어 모델(VLM), 세계 모델, 세계 액션 모델(WAM), 비전-언어-액션(VLA) 모델 등 여러 아키텍처의 특성을 흡수해 단일 시스템에 통합한다.

덕분에 Cosmos 3는 단순히 "미래를 예측"하는 것을 넘어 로봇이나 자율주행 차량이 행동하기 전에 **먼저 생각(Think before Act)**할 수 있도록 돕는다. 즉, 시각 추론 → 물리적으로 정확한 합성 영상 생성 → 액션 생성까지의 전 파이프라인이 하나의 모델에서 작동한다.

NVIDIA Cosmos Coalition — 오픈 생태계 구축

NVIDIA는 Cosmos 3 발표와 함께 NVIDIA Cosmos Coalition을 출범시켰다. Agile Robots, Black Forest Labs, Generalist, LTX, Runway, Skild AI 등이 창립 멤버로 참여해 차세대 세계 모델 구축에 협력한다. 이 연합을 통해 다양한 도메인의 전문 세계 모델이 오픈 생태계에서 개발·공유될 전망이다.

오픈소스 데이터셋 6종 동시 공개

NVIDIA는 모델 외에도 합성 데이터 생성(SDG) 데이터셋 6종을 오픈소스로 공개했다. 로봇공학, 물리 시뮬레이션, 공간 추론, 인체 동작, 자율주행, 창고 환경을 각각 커버하는 데이터셋이다. Cosmos 3 및 다른 모델의 후처리 훈련(post-training)에 활용할 수 있다.

왜 물리적 AI에 세계 모델이 필요한가

로봇이나 자율주행 차량을 훈련시키려면 방대한 실세계 데이터가 필요하다. 하지만 현실 데이터 수집은 비용이 막대하고, 위험한 엣지 케이스는 수집 자체가 어렵다. Cosmos 3는 물리 법칙을 준수하는 합성 영상과 시나리오를 대규모로 생성해 이 문제를 해결한다. 실제로 NVIDIA의 내부 테스트에서 물리적 AI 훈련·검증 사이클이 수개월에서 수일 수준으로 압축됐다.