엔비디아, 월드 모델 학습·평가·배포를 위한 새로운 도구 ‘코스모스’ 공개
🇰🇷 한글 번역
물리 AI 시스템이 현실 세계를 이해하고 시뮬레이션하는 데 도움이 되는 월드 모델(world models)을 개발자들이 신속하게 구축할 수 있도록 지원하기 위해, 엔비디아는 새로운 학습 도구, 시뮬레이션 체크포인트, 그리고 코스모스 데이터 팩토리(Cosmos Data Factory) 블루프린트를 통해 코스모스 플랫폼을 확장했습니다.
6가지 다양한 오픈 모델 리더보드에서 상위 5위 안에 진입한 엔비디아 코스모스 플랫폼은 월드 모델 빌더들에게 최전선의 오픈 모델과 함께, 학습 데이터 확장, 모델 적응, 동작 테스트, 배포 전 성능 최적화를 위한 데이터, 학습 및 최적화 도구와 레시피를 제공합니다.
더 나은 학습 데이터 구축
월드 모델 구축은 다중 모달, 다중 감각 데이터로 시작됩니다.
엔비디아 코스모스 데이터 팩토리는 물리 AI 학습을 위해 데이터를 대규모로 라벨링하고, 큐레이션하고, 증강하며, 평가하는 도구와 기술을 통합합니다. 비디오 학습 데이터셋을 큐레이션하기 위한 GPU 가속 솔루션인 코스모스 큐레이터(Cosmos Curator)는 이제 다중 모달 다중 감각 입력 및 처리 블록에 대한 지원을 추가했습니다.
코스모스 데이터 팩토리는 이제 다음 5가지 클라우드 네이티브 블루프린트를 제공하며, GitHub, 마이크로소프트 애저, 네비우스(Nebius), 코어웨이브(CoreWeave)를 통해 사용할 수 있습니다.
- 자율주행차 데이터셋 생성: 주행 데이터를 큐레이션하고 라벨링한 후, 포착하기 어려운 시나리오의 합성 예제를 추가하여 학습 범위를 확장합니다.
- 이미지 속성 증강: 객체의 외관을 다양화하여 이미지 검색 성능을 향상시킵니다.
- 이벤트 비디오 생성: 정지 이미지를 드물거나 위험한 사건의 합성 비디오로 변환합니다.
- 결함 이미지 생성: 검사 모델을 위한 인쇄 회로 기판, 금속 및 유리 결함 이미지를 생성합니다.
- 비디오 데이터 증강: 장면 구조를 유지한 채 기존 영상에서 날씨와 조명을 변경합니다.
코스모스 데이터 팩토리는 에이전트 스킬을 통해 데이터 큐레이션, 처리 및 합성 데이터 생성을 가속화합니다.
기업들은 이미 물리 AI 개발 워크플로우를 가속화하기 위해 코스모스 데이터 팩토리 블루프린트를 활용하고 있습니다.
포르쉐는 마이크로소프트 애저에서 Voxel51을 통해 코스모스 데이터 팩토리를 사용하여 폭스바겐 그룹 브랜드 간 공유된 자율주행 데이터 플라이휠(flywheel) 개발을 주도하고 있습니다. 이를 통해 반복적인 실제 주행 테스트를 최대 90%까지 줄이고 개발 주기 시간을 최대 85%까지 단축할 것으로 예상됩니다.
Voxel51에서 코스모스 데이터 팩토리에 의해 구동되는 자율주행차 데이터 영상 검색 및 증강을 위한 포르쉐의 작업.
ANYbotics는 코스모스 데이터 팩토리 블루프린트를 사용하여 1,500개 이상의 합성 비디오 클립을 생성했으며, 엔코드(Encord)의 플랫폼을 통해 실제 데이터를 큐레이션하고 출력을 검증하여 시설 방문 간 액체 유출 및 기타 변화를 인식하도록 산업용 검사 로봇을 훈련시켰습니다.
엔비디아 코스모스 데이터 팩토리에 의해 구동되는 엔코드와 함께 이상 클립을 생성하는 ANYbotics.
컴퓨터 비전 기업인 울트라레틱스(Ultralytics)는 코스모스 데이터 팩토리를 사용하여 생성된 실제 이미지와 표적 합성 결함으로 YOLO 모델을 재학습시켜 결함 국소화 및 재현율(recall)을 개선했습니다.
모델 학습, 적응 및 최적화
학습 데이터가 준비되면 개발자들은 자체 아키텍처를 학습하거나 사전 학습된 모델로 시작할 수 있습니다.
GTC 베를린에서 엔비디아는 코스모스 3와 함께 코스모스 프레임워크의 학습, 최적화 및 배포 도구와 레시피를 에이전트 스킬로서 더 많은 오픈 모델로 확장하여, 월드 모델 빌더들이 실험에서 배포까지 더 빠른 경로를 가질 수 있도록 했습니다.
개발자와 에이전트는 이제 미세 조정(fine-tuning)과 강화 학습을 통해 GR00T, 알파마요(Alpamayo), , Pi0.5 및 기타 호환되는 허깅 페이스(Hugging Face) 모델과 같은 오픈 모델을 적응시킬 수 있으며, 증류(distillation)와 양자화(quantization)를 통해 모델을 최적화하고 고성능 추론(inference)으로 배포할 수 있습니다.
자율 조작에 특화된 월드 모델을 개발하기 위해 로봇공학 연구실인 MicroAGI는 인간이 물체를 조작하는 영상으로 Cosmos 3를 사후 학습(post-training)했으며, 정확도 손실 없이 320억 파라미터의 추론 모델을 정확도 저하 없이 80억 파라미터의 나노(Nano) 모델로 증류(distillation)했습니다.
개발자는 Roboflow에서 데이터를 레이블링하고 특정 환경 및 작업에 맞게 Cosmos 3를 사후 학습한 후, 해당 모델을 Roboflow 호스팅 또는 온프레미스 NVIDIA GPU로 배포하여 공장 및 창고에 영상 추론을 도입할 수 있습니다.
정책 테스트 및 모델 실행 속도 향상
이러한 도구들과 함께 NVIDIA는 Cosmos 모델 관련 작업을 통해 핵심 기술을 지속적으로 발전시키고 있습니다.
시뮬레이션을 위한 새로운 Cosmos 3 Nano 모델 변형들은 개발자가 반복 가능하지만 포착하기 어려운 다중 뷰 및 다중 센서 시나리오에서 자율 정책을 테스트할 수 있게 합니다. 동반되는 코드를 통해 개발자는 실제 세계 테스트 전에 상호작용형 시뮬레이션에서 자율 주행 차량 및 양팔 로봇을 위한 자체 정책의 학습 및 평가를 위해 모델을 적응시킬 수 있습니다.
개발자는 업데이트된 NVIDIA Cosmos 3 NIM 마이크로서비스를 사용하여 핵심 Cosmos 모델을 배포할 수 있으며, 이는 검증된 구성에서 품질 저하 없이 최대 2배 빠른 추론 속도를 제공하며, 지속적인 영상 분석을 통해 1초 미만 지연의 경고를 가능하게 합니다.
비전 AI 개발자를 위해 Cosmos NIM 마이크로서비스를 기반으로 구축된 새로운 NVIDIA Metropolis 영상 검색 및 요약(VSS) 3.3 블루프린트는 하나의 프롬프트를 효율적인 영상 AI 애플리케이션으로 전환하며, 동일한 GPU로 40% 더 많은 영상 스트림을 모니터링할 수 있도록 팀을 지원합니다.
ADNOC은 Cosmos와 NVIDIA Metropolis VSS 블루프린드를 기반으로 구축된 Fogsphere의 MistIQ 에이전틱 플랫폼을 사용하여 65개 사이트 전반에서 안전 위험을 실시간으로 탐지합니다. 드문 사건의 경우, Fogsphere는 위험한 상황을 물리적으로 연출할 필요 없이 탐지 성능을 향상시키기 위해 Cosmos Data Factory를 사용하여 합성 학습 데이터를 생성하기도 합니다.
Cosmos 플랫폼은 완전히 모듈화되어 있고 개방적입니다. 개발자는 Cosmos Data Factory를 사용하여 학습 데이터셋을 생성하고, Cosmos Framework를 통해 월드 모델을 학습 및 적응시킨 후, 지원되는 Cosmos 모델을 NIM 마이크로서비스를 통해 배포할 수 있습니다.
📄 원문 (English)
To help developers rapidly build world models, which help physical AI systems understand and simulate the real world, NVIDIA has expanded the Cosmos platform with new training tools, simulation checkpoints and Cosmos Data Factory blueprints.
Ranking top five on six different open models leaderboards, the NVIDIA Cosmos platform gives world model builders the frontier open models — as well as data, training and optimization tools and recipes — to scale training data, adapt models, test behavior and optimize for performance before deployment.
Build Better Training Data
Building world models begins with multimodal, multisensory data.
NVIDIA Cosmos Data Factory brings together the tools and skills for labeling, curating, augmenting and evaluating data at scale for training physical AI. Cosmos Curator, a GPU-accelerated solution for curating video training datasets, has now added support for multimodal multisensory inputs and processing blocks.
Cosmos Data Factory now offers the following five cloud-native blueprints and is available through GitHub, Microsoft Azure, Nebius and CoreWeave:
- Autonomous Vehicle Dataset Generation: Curates and labels driving data, then adds synthetic examples of hard-to-capture scenarios to expand training coverage.
- Image Attribute Augmentation: Varies object appearance to improve image search.
- Event Video Generation: Turns still images into synthetic videos of rare or unsafe events.
- Defect Image Generation: Generates printed circuit board, metal and glass defect images for inspection models.
- Video Data Augmentation: Changes weather and lighting in existing footage while preserving scene structure.
Cosmos Data Factory accelerates data curation, processing and synthetic data generation with agentic skills.
Companies are already putting Cosmos Data Factory blueprints to work to speed their physical AI development workflows.
Porsche is leading the development of a shared AV data flywheel across Volkswagen Group brands, using Cosmos Data Factory through Voxel51 on Microsoft Azure. This is expected to reduce repeated physical test drives by up to 90% and shorten development cycle times by up to 85%.
Porsche searching and augmenting autonomous vehicle data footage in Voxel51, powered by Cosmos Data Factory.
ANYbotics generated over 1,500 synthetic video clips with Cosmos Data Factory blueprints, curating real-world data and validating outputs with Encord’s platform, to train its industrial-inspection robots to recognize liquid spills and other changes between facility visits.
ANYbotics generating anomaly clips with Encord powered by NVIDIA Cosmos Data Factory.
Ultralytics, a computer vision company, retrained its YOLO model with real images and targeted synthetic defects generated using Cosmos Data Factory, improving defect localization and recall.
Train, Adapt and Optimize Models
With training data prepared, developers may train their own architecture or start with a pretrained model.
At GTC Berlin, NVIDIA extended Cosmos Framework training, optimization and deployment tools and recipes as agent skills to more open models, along with Cosmos 3, giving world model builders a faster path from experimentation to deployment.
Developers and agents can now adapt open models like GR00T, Alpamayo, QWEN, Pi0.5 and other compatible Hugging Face models through fine-tuning and reinforcement learning, optimize the model with distillation and quantization, and deploy with high-performing inference.
To develop a world model specialized for egocentric manipulation, robotics research lab MicroAGI post-trained Cosmos 3 on videos of humans manipulating objects and distilled its 32-billion-parameter reasoner down to an 8-billion-parameter Nano model with no loss in accuracy.
Developers can label data and post-train Cosmos 3 on Roboflow for their specific environments and tasks, then deploy those models to RoboFlow hosted or on-premises NVIDIA GPUs to bring video reasoning into factories and warehouses.
Test Policies and Run Models Faster
Alongside these tools, NVIDIA continues advancing foundational technology through its work on Cosmos models.
New Cosmos 3 Nano model variants for simulation enable developers to test autonomous policies in repeatable, hard-to-capture, multiview multisensor scenarios. Accompanying code allows developers to adapt the models to train and evaluate their own policies for autonomous vehicles and bimanual robots in interactive simulations before real-world testing.
Developers can deploy core Cosmos models using updated NVIDIA Cosmos 3 NIM microservices, which deliver up to 2x faster inference with no quality loss in validated configurations, while continuous video analysis enables sub-second alerts.
For vision AI developers, the new NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3, built on Cosmos NIM microservices, turns one prompt into an efficient video AI application and helps teams monitor 40% more video streams with the same GPU.
ADNOC uses Fogsphere’s MistIQ agentic platform, built with Cosmos and the NVIDIA Metropolis VSS Blueprint, to detect safety hazards in real time across 65 sites. For rare events, Fogsphere also uses the Cosmos Data Factory to generate synthetic training data, improving detection without needing to physically stage dangerous situations.
The Cosmos platform is fully modular and open. Developers can use Cosmos Data Factory to generate training datasets, Cosmos Framework to train and adapt world models, then deploy supported Cosmos models through NIM microservices.
▶ 칩 라이브 24 홈으로 — chiplive24.com