TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

엔비디아 라이라 2.0, 단일 이미지를 탐색 가능한 3D 세계로 전환, 지속적 환경과 실시간 렌더링 지원

Wccftech · 2026.11.09 22:10 · 원문 사이트
🇰🇷 한글 번역
NVIDIA는 단일 사진을 탐색 가능한 3D 환경으로 변환하고, 원래 이미지 너머로 사용자를 이동시키면서도 일관된 가상 세계를 유지할 수 있는 AI 기반 프레임워크인 라이라 2.0(Lyra 2.0)을 선보였다. NVIDIA의 공간 지능 연구소(Spatial Intelligence Lab, SIL)가 개발한 라이라 2.0은 AI 비디오 생성과 3D 재구성을 결합하여 게임 개발, 가상 현실(VR), 로봇 시뮬레이션 등 새로운 가능성을 열어줄 것으로 예상된다. 이 연구는 2026년 4월 처음 발표되었으며, NVIDIA는 이제 2026년 SIGGRAPH 아시아 행사를 앞두고 이 기술을 강조하고 있다. 미리 결정된 시퀀스를 생성하는 기존 이미지-비디오 생성기와 달리, 라이라 2.0은 사용자가 카메라의 궤적을 제어할 수 있게 하여 환경 속을 이동하면서 새로운 시점을 점진적으로 생성한다. 그러나 이 기술에서 가장 흥미로운 진전은 생성형 AI의 두 가지 지속적인 단점을 해결하는 능력이다. 바로 공간적 망각(Spatial forgetting)과 시간적 드리프트(Temporal drifting)이다. 공간적 망각은 AI 모델이 이전에 생성된 위치의 추적을 잃어, 사용자가 다시 방문했을 때 일관성 없는 구조물을 생성할 수 있는 현상을 말한다. 반면 시간적 드리프트는 장기적인 생성 과정에서 시각적 및 기하학적 오류가 점진적으로 누적되는 현상을 설명한다. 이러한 문제들을 해결하기 위해 NVIDIA 연구진은 3D 기하학적 정보를 사용하여 관련 과거 프레임을 검색하는 공간 메모리 시스템을 개발했다. 또한 모델은 자체의 불완전한 출력물에 대해 학습함으로써, 누적된 시각적 오류를 지속적으로 증폭시키는 대신 이를 수정하는 방법을 효과적으로 배운다. 결과적으로 생성된 비디오 시퀀스는 3D 가우시안 스플래트(3D Gaussian Splats)와 다각형 메시로 재구성될 수 있으며, 이는 실시간 렌더링을 가능하게 하고 생성된 환경을 NVIDIA 이삭 시뮬레이션(Isaac Sim)과 같은 애플리케이션으로 내보낼 수 있게 한다. 성능 개선 또한 주목할 만하다. NVIDIA는 비디오 생성 과정을 35개의 디노이징 단계에서 단 4단계로 줄이는 경량화(distilled) 모델을 개발하여, 생성 시간을 약 13배 감소시켰다. 연구 논문에 따르면, 단일 NVIDIA GB200 GPU에서 80프레임 분량의 비디오를 생성하는 데 전체 모델을 사용할 경우 194초가 걸리는 반면, 경량화 모델은 약 15초가 소요된다. 그러나 이는 실시간 세계 생성과 혼동되어서는 안 된다. 후자는 여전히 계산적으로 매우 부담이 큰 작업이기 때문이다. 이 기술은 여전히 주로 정적인 환경에 국한되어 있으며, 동적인 장면 생성과 가끔 발생하는 시각적 불일치가 과제로 남아있다. 그럼에도 불구하고 게임 분야에 미치는 영향은 흥미롭다. 우리는 이전에 단일 사진에서 탐색 가능한 가상 세계를 생성할 수 있는 또 다른 실험적 AI 시스템인 구글의 프로젝트 지니(Project Genie)를 다룬 바 있다. 라이라 2.0은 생성된 콘텐츠를 명시적인 3D 기하학으로 재구성하여 시뮬레이션 환경에서 렌더링하고 사용할 수 있다는 점에서 다소 다른 접근 방식을 취한다. 우리는 아직 단일 사진에서 완전히 기능적인 비디오 게임을 생성하는 단계와는 거리가 멀지만, 이러한 발전은 AI 지원 환경 생성이 결국 개발자들에게 점점 더 유용한 도구가 될 수 있음을 시사한다. NVIDIA는 라이라 2.0 구현 코드를 GitHub에 공개했으며, 모델 가중치는 허깅페이스(Hugging Face)에서 제공된다. 다만 후자는 NVIDIA의 연구용 라이선스 제한에 따라 사용이 제한된다. 뉴스 출처: X(구 트위터)의 NVIDIA AI 더 많은 뉴스 커버리지를 피드에서 확인하려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
NVIDIA has showcased Lyra 2.0, an AI-powered framework capable of transforming a single photograph into an explorable 3D environment, allowing users to navigate beyond the original image while maintaining a consistent virtual world. Developed by NVIDIA's Spatial Intelligence Lab (SIL), Lyra 2.0 combines AI video generation with 3D reconstruction, potentially opening up new possibilities for game development, virtual reality, and robotics simulation. The research was originally published in April 2026, with NVIDIA now highlighting the technology ahead of SIGGRAPH Asia 2026. Unlike conventional image-to-video generators, which produce predetermined sequences, Lyra 2.0 lets users control the camera's trajectory, progressively generating new views of an environment as they move through it. The technology's most interesting advancement, however, is its ability to address two persistent shortcomings of generative AI: spatial forgetting and temporal drifting. Spatial forgetting occurs when an AI model loses track of previously generated locations, potentially producing inconsistent structures when users revisit them. Temporal drifting, meanwhile, describes the gradual accumulation of visual and geometric errors during prolonged generation. To counter these issues, NVIDIA's researchers developed a spatial-memory system that retrieves relevant historical frames using 3D geometric information. The model is also trained on its own imperfect outputs, effectively teaching it to correct accumulated visual errors rather than continuously amplify them. The resulting video sequences can subsequently be reconstructed into 3D Gaussian Splats and polygonal meshes, enabling real-time rendering and allowing the generated environments to be exported into applications such as NVIDIA Isaac Sim. The performance improvements are also noteworthy. NVIDIA developed a distilled model that reduces the video generation process from 35 denoising steps to just four, achieving an approximately 13-fold reduction in generation time. According to the research paper, generating an 80-frame segment takes approximately 15 seconds on a single NVIDIA GB200 GPU, compared to 194 seconds using the full model. This shouldn't be confused with real-time world generation, however, as the latter remains computationally demanding. The technology also remains limited to predominantly static environments, with dynamic scene generation and occasional visual inconsistencies presenting challenges. Nevertheless, the implications for gaming are intriguing. We previously covered Google's Project Genie, another experimental AI system capable of generating explorable virtual worlds. Lyra 2.0 takes a somewhat different approach by reconstructing its generated content into explicit 3D geometry that can be rendered and used in simulation environments. While we're still far from generating fully functional video games from a single picture, such developments suggest that AI-assisted environment creation could eventually become an increasingly useful tool for developers. NVIDIA has made the Lyra 2.0 implementation available on GitHub, alongside model weights on Hugging Face, although the latter are subject to NVIDIA's research-use licensing restrictions. News Source: NVIDIA AI on X Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance