오미버스 안으로: 개발자들이 최첨단 AI 에이전트로 아이디어를 시뮬레이션으로 구현하는 방법
🇰🇷 한글 번역
시뮬레이션 아이디어를 작동하는 애플리케이션으로 전환하려면 애셋을 조립하고 물리 및 렌더링을 연결하며 장면이 의도한 대로 작동하는지 확인해야 합니다. 개발자들은 시나리오 탐색, 실패 조사 및 설계를 개선하기 위한 애플리케이션을 구축하는 작업을 돕기 위해 최첨단 AI 모델과 NVIDIA Omniverse 라이브러리를 결합하고 있습니다.
개발자들은 자연어 명령을 통해 AI 에이전트를 지시하고, 결과를 검토하며, 변경 사항을 안내합니다. Omniverse 라이브러리는 GPU 가속 물리, 렌더링 및 센서 시뮬레이션 기능을 제공합니다.
아래 프로젝트를 탐색하여 GPT-6 Astra와 같은 최첨단 AI 모델이 작동하는 모습을 확인하고, NVIDIA 팀과 생태계 전반의 개발자들이 제공하는 새로운 예제를 위해 다시 방문하세요.
창고 환경을 위한 휴머노이드 시뮬레이터 구축 🔗
1인칭 및 3인칭 시점에서 휴머노이드 로봇의 게임화된 물리 기반 제어를 탐색합니다.
창고 작업을 자동화하기 전에 개발자들은 작업 동작을 탐색하고 작업 수행 방식을 평가할 수 있는 상호작용형 시뮬레이션 환경이 필요합니다. NVIDIA의 Omniverse 제품 관리자 Frank DeLise는 Astra를 사용하여 SimReady 창고와 휴머노이드 로봇을 1인칭 및 3인칭 시점이 포함된 상호작용형 시뮬레이터로 변환했습니다.
DeLise는 Astra를 지시하여 물리(ovphysx), 장면 업데이트(ovstage), 렌더링(ovrtx) 및 사용자 인터페이스(ovui)를 위한 NVIDIA Omniverse 라이브러리를 연결하도록 했습니다. 또한 SimReady(simready-foundation)와 Astra를 사용하여 시뮬레이션에서 물리적 장면을 생성했습니다. 그런 다음 Astra는 이러한 기능을 결합하기 위해 애니메이션 및 애플리케이션 코드를 생성했습니다.
최첨단 AI 모델과 NVIDIA Omniverse 라이브러리를 사용하여 SimReady 로봇 애셋을 준비하고 검증하는 방법을 알아보세요.
자율주행 테스트 워크플로우 연결 🔗
장면, 센서 또는 주행 모델을 변경하면 자율주행차 시뮬레이션에 상당한 영향을 미칠 수 있습니다. NVIDIA의 시뮬레이션 기술 팀 관리자 Doyub Kim은 Astra에게 샌프란시스코의 Market Street을 기반으로 하는 재사용 가능한 시뮬레이션 환경인 Zero to Alpamayo를 구축하도록 요청했습니다.
Kim은 Astra에게 워크플로우를 계획한 다음, 단계별로 애셋 생성, 교통, Omniverse RTX 센서 시뮬레이션 및 Alpamayo 주행을 연결하고 각 통합을 확인하도록 지시했습니다. 결과물인 프로토타입은 모델을 비교하고 장면 또는 센서 변경이 하류 주행 행동에 미치는 영향을 추적하기 위한 테스트 베드였습니다. 별도의 Cosmos3-Nano 실험에서는 기록된 시뮬레이션 비디오에서 날씨와 조명을 변화시켜 Kim이 서로 다른 조건에서 동일한 시나리오에 대한 주행 모델의 응답을 비교할 수 있도록 했습니다.
센서 차이를 활용하여 디지털 트윈 생성 및 개선 🔗
기록된 영상과 시뮬레이션된 카메라 및 라이다 출력을 비교하면 개발자들은 장면을 정제하기 위한 지표 기반 피드백을 얻을 수 있습니다.
로봇과 자율주행차를 테스트하려면 개발자들은 시뮬레이션된 센서가 실제 센서와 얼마나 일치하는지 알아야 합니다. NVIDIA에서 RTX 센서 검증 작업을 수행하는 Ashley Reid는 Astra와 Claude Fable 5 에이전트를 지시하여 ovrtx 카메라 및 원시 라이다 출력을 기록된 데이터와 비교하도록 했습니다. 에이전트들은 처음부터 두 개의 디지털 트윈을 생성하고 기존 두 개를 개선했습니다.
약 3일 동안 Reid는 에이전트들이 차이를 측정하고, OpenUSD 장면을 생성하거나 수정하며, 결과를 확인하는 반복적인 워크플로우를 안내했습니다. 변경 사항은 누락된 객체, 기하학적 구조 및 재료를 다루었으며, 수용 여부는 카메라 및 라이다 지표에 따라 결정되었습니다. 이는 개발자들이 측정된 불일치를 사용하여 장면 생성 및 개선을 안내할 수 있는 방법을 제공합니다.
ovrtx 최소 Python 예제를 사용하여 OpenUSD 장면을 렌더링하는 것으로 시작하고, 기록된 데이터와 비교할 센서 측정을 정의합니다.
로보 올림픽: 시뮬레이션으로 로봇 기술 테스트 🔗
로봇에 새로운 움직임을 가르친다는 것은 이러한 동작이 물리적 제약 조건 하에서 작동하는지 확인하는 것을 의미합니다. NVIDIA Omniverse 엔지니어링 및 제품 책임자인 태 킴(Tae Kim)은 스포츠 영상과 자연어 지시를 사용하여 Astra가 Unitree G1 휴머노이드 로봇이 스포츠 동작을 수행하는 것을 테스트하는 실험 프로젝트인 '로보 올림픽(Robo Olympics)'을 구축하도록 안내했습니다.
킴의 지시 아래 Astra는 컨트롤러를 구축하고 물리 실험을 통해 이를 정교화했습니다. 뉴턴 물리 엔진(Newton Physics Engine)은 행동을 시뮬레이션했고, 오픈 소스 NVIDIA Warp 프레임워크는 계산을 가속화했으며, ovrtx는 장면과 가상 카메라 이미지를 렌더링했습니다. 한 실험에서 로봇은 100번의 시뮬레이션 시도 중 64번에서 단일 장애물을 넘었습니다. 이러한 시도는 킴에게 로봇의 타이밍과 제어력을 개선하기 위한 피드백을 제공했습니다.
Astra와 NVIDIA Omniverse 라이브러리를 사용하여 시뮬레이션을 구축하는 과정을 탐색하는 킴의 영상을 시청하세요.
컴퓨터 지원 설계 및 시뮬레이션으로 로봇 분해 테스트 🔗
로봇이 제품을 분해하기 전에 개발자는 로봇의 도구가 부품에 도달하고 제거할 수 있는지 알아야 합니다. NVIDIA의 OpenUSD 수석 제품 관리자인 젠스 제벤스(Jens Jebens)는 Astra에게 PTC Onshape에서 자동차 서스펜션을 모델링하고 NVIDIA Isaac Sim에서 구성하도록 지시했습니다.
Astra를 사용하여 제벤스는 시뮬레이션에 기반한 로봇을 위한 컴퓨터 지원 설계 및 도구 개선을 탐색했습니다. 에이전트는 사용 가능한 공간을 측정하고 로봇이 서스펜션 볼트에 도달할 수 있도록 하는 렌치를 설계했습니다. 제벤스는 시뮬레이션에서 서스펜션 부품의 성공적인 제거를 보고했습니다. 이는 설계 및 도구 관련 결정을 분해 결과와 연결하여 로봇 정책 학습의 시작점을 제공합니다.
Onshape 임포터 가이드를 탐색하세요.
국제 우주 정거장을 브라우저로 가져오기 🔗
3D 모델을 애플리케이션으로 전환하려면 애셋, 실시간 데이터 및 인터페이스를 연결해야 합니다. NVIDIA의 엔지니어링 디렉터인 닉 존스(Nic Johns)는 Astra에게 NASA 애셋을 텔레메트리 데이터가 포함된 OpenUSD 국제 우주 정거장 모델로 조립하도록 지시했습니다. 존스는 단일 프롬프트로 애플리케이션을 구축한 후, 후속 프롬프트를 사용하여 장면을 지구의 낮 쪽으로 전환하여 행성이 보이도록 했습니다.
이 워크플로는 애셋 준비를 위해 Blender를 사용하고, 렌더링(ovrtx), 장면 런타임(ovstage), 스트리밍(ovstream)을 위해 Omniverse 라이브러리를 사용했습니다. 이 애플리케이션은 3D 모델과 운영 데이터를 브라우저로 가져오며, 존스는 프롬프트와 수정을 통해 개발을 안내했습니다.
Omniverse 실시간 뷰어 스킬을 사용해 보세요.
캡처된 방을 테스트 환경으로 전환하기 🔗
디지털로 재구성된 방은 개발자가 상호작용을 테스트하기 전에 편집 가능한 객체와 정확한 물리적 동작이 필요합니다. NVIDIA의 Isaac 엔지니어링 애플리케이션 팀 소속인 치라그 마지티아(Chirag Majithia)는 Astra에게 스테레오 카메라 캡처를 편집 가능한 OpenUSD 스튜디오로 변환하도록 지시했습니다.
이 워크플로는 재구성을 위해 PyCuSFM, FoundationStereo 및 nvblox를 결합했으며, 사용자 검토를 통해 객체 선택 및 배치를 안내했습니다. Astra는 생성된 애셋과 Blender로 작성된 애셋을 조립하고, USD 콘텐츠 에이전트(USD Content Agents)를 사용하여 시뮬레이션에서 객체가 어떻게 움직이고 상호작용하는지 구성했습니다. Isaac Sim 테스트는 문과 서랍에 대한 충돌 및 접촉 수정을 안내했습니다. 이 스튜디오는 캡처된 기하학을 상호작용 테스트와 연결하여 간극과 객체 동작을 더 쉽게 검사할 수 있게 합니다.
시뮬레이션 아이디어가 있으신가요? AI 에이전트와 함께 빌드를 시작하려면 NVIDIA Omniverse 라이브러리를 탐색하세요.
📄 원문 (English)
Turning a simulation idea into a working application means assembling assets, connecting physics and rendering, and checking that the scene behaves as intended. Developers are combining frontier AI models with NVIDIA Omniverse libraries to help carry out that work — building applications for exploring scenarios, investigating failures and improving designs.
Developers direct AI agents through natural-language instructions, review results and guide changes. Omniverse libraries provide GPU-accelerated physics, rendering and sensor simulation capabilities.
Explore the projects below to see frontier AI models such as GPT-6 Astra at work, and check back for new examples from NVIDIA teams and developers across the ecosystem.
Build a Humanoid Simulator for a Warehouse Environment 🔗
Explore a gamified, physics-based control of a humanoid robot in first- and third-person view.
Before automating warehouse tasks, developers need an interactive simulation environment to explore task behavior and evaluate how the work gets done. Frank DeLise, Omniverse product manager at NVIDIA, used Astra to turn a SimReady warehouse and humanoid robot into an interactive simulator with first- and third-person views.
DeLise directed Astra to connect NVIDIA Omniverse libraries for physics (ovphysx), scene updates (ovstage), rendering (ovrtx) and the user interface (ovui). He also used Astra with SimReady (simready-foundation) to create the physical scene in simulation. Astra then generated animation and application code to bring those capabilities together.
Learn how to prepare and validate SimReady robot assets with frontier AI models and NVIDIA Omniverse libraries.
Connect an Autonomous-Driving Testing Workflow 🔗
Changing a scene, sensor or driving model can significantly affect autonomous-vehicle simulations. Doyub Kim, a manager on the simulation technology team at NVIDIA, asked Astra to build Zero to Alpamayo — a reusable simulation environment based on San Francisco’s Market Street.
Kim directed Astra to map out the workflow, then connect asset creation, traffic, Omniverse RTX sensor simulation and Alpamayo driving in stages, checking each integration. The resulting prototype was a testing ground for comparing models and tracing how scene or sensor changes affect downstream driving behavior. A separate Cosmos3-Nano experiment varied weather and lighting in recorded simulation videos, allowing Kim to compare the driving model’s responses to the same scenario under different conditions.
Use Sensor Differences to Create and Improve Digital Twins 🔗
Comparing recorded and simulated camera and lidar outputs gives developers key performance indicator-based feedback for refining a scene.
To test robots and autonomous vehicles, developers need to know how closely simulated sensors match real ones. Ashley Reid, who works on RTX sensor validation at NVIDIA, directed Astra and Claude Fable 5 agents to compare ovrtx camera and raw LiDAR outputs with recorded data. The agents created two digital twins from scratch and improved two existing ones.
Over about three days, Reid guided an iterative workflow in which agents measured differences, created or modified OpenUSD scenes, and checked the results. Changes addressed missing objects, geometry and materials, with acceptance depending on camera and LiDAR metrics. This gives developers a way to use measured discrepancies to guide scene creation and improvement.
Start by rendering an OpenUSD scene with the ovrtx minimal Python example, then define a sensor measure to compare with recorded data.
Robo Olympics: Test Robot Skills With Simulation 🔗
Teaching robots new movements means checking whether those actions work under physical constraints. Tae Kim, who leads NVIDIA Omniverse engineering and product, used sports videos and natural-language instructions to guide Astra in building Robo Olympics, an experimental project that tests simulated Unitree G1 humanoids performing sports movements.
Under Kim’s direction, Astra built controllers and refined them through physics trials. Newton Physics Engine simulated behavior, the open source NVIDIA Warp framework accelerated calculations and ovrtx rendered scenes and virtual-camera images. In one experiment, the robot cleared a single hurdle in 64 of 100 simulation trials. The trials gave Kim feedback for improving the robot’s timing and control.
Watch Kim explore building simulations with Astra and NVIDIA Omniverse libraries.
Test Robotic Disassembly With Computer-Aided Design and Simulation 🔗
Before a robot can disassemble a product, developers need to know whether its tools can reach and remove the parts. Jens Jebens, a senior product manager for OpenUSD at NVIDIA, directed Astra to model a car suspension in PTC Onshape and configure it in NVIDIA Isaac Sim.
With Astra, Jebens explored computer-aided design and tooling revisions for robots informed by simulation. The agent measured the available space and designed a wrench the robot could use to reach the suspension’s bolts. Jebens reported successful removal of a suspension component in simulation. This connects design and tooling decisions to disassembly results, offering a starting point for robot policy training.
Explore the Onshape importer guide.
Bring the International Space Station Into the Browser 🔗
Turning 3D models into an application requires connecting assets, live data and an interface. Nic Johns, an engineering director at NVIDIA, prompted Astra to assemble NASA assets into an OpenUSD International Space Station model with telemetry. Johns built the application with a single prompt, then used a follow-up prompt to shift the scene to Earth’s daytime side so the planet was visible.
The workflow used Blender for asset preparation and Omniverse libraries for rendering (ovrtx), scene runtime (ovstage) and streaming (ovstream). The application brings 3D models and operational data into the browser, with Johns guiding its development through prompts and corrections.
Try the Omniverse Real-Time Viewer skill.
Turn Captured Rooms Into Testing Environments 🔗
A digitally reconstructed room needs editable objects and accurate physical behavior before developers can test interactions. Chirag Majithia, from the Isaac engineering applications team at NVIDIA, directed Astra to turn stereo camera captures into an editable OpenUSD studio.
The workflow combined PyCuSFM, FoundationStereo and nvblox for reconstruction, with user review guiding object selection and placement. Astra assembled generated and Blender-authored assets and used USD Content Agents to configure how objects move and interact in simulation. Isaac Sim tests guided collision and contact revisions for doors and drawers. The studio connects captured geometry to interaction testing, making gaps and object behavior easier to inspect.
Have a simulation idea? Explore NVIDIA Omniverse libraries to start building with an AI agent.
▶ 칩 라이브 24 홈으로 — chiplive24.com