독점: 엔비디아 베라 팀, 칩렛 설계가 단일 스레드 성능을 코어 수에 희생시켰다고 주장, 에이전트 AI가 이제 반전을 강요
🇰🇷 한글 번역
엔비디아(NVIDIA)의 베라(Vera) CPU는 전통적인 작업 격리 패러다임에서 조율된 에이전트 지능 생태계로 컴퓨팅 아키텍처의 재정의를 알리며, 중앙처리장치(CPU)의 역할을 범용 다중 작업 처리기에서 AI 에이전트의 복잡하고 다단계적인 추론 루프를 관리하도록 특별히 설계된 전문적인 지휘자로 전환시키고 있다.
최근 Wccftech는 엔비디아의 베라 팀과 면담을 가질 기회를 얻었으며, 급성장하는 에이전트 AI 경제에서 CPU의 부상하는 역할에 대해 유익한 대화를 나눴다. 이제 우리는 단일 스레드 성능의 부활, CPU가 제어하는 AI 샌드박스의 압도적인 규모, 그리고 진화하는 CPU 대 GPU 비율에 대해 논의하며 깊이 파고들어 보자.
수년간 클라우드 인프라가 코어당 속도를 희생하면서 막대한 코어 수를 우선시해 온 반면, 에이전트 AI는 이러한 흐름을 역전시키고 있으며 엔비디아의 베라는 이러한 패러다임 전환의 구체적 표현이다.
질문: 베라 CPU가 무엇인지 간략하게 설명해 주시겠습니까?
답변: 2010년대 초 데이터센터 설계는 코어의 단순한 수보다는 개별 프로세서 코어의 성능 극대화에 중점을 두었습니다. 이 시기 인텔과 같은 시장 리더들은 fewer cores but higher clock frequencies를 특징으로 하는 하스웰(Haswell) 세대와 같은 아키텍처에 집중했습니다.
이러한 시기는 CPU 설계의 좌상단 사분면에 위치했으며, 높은 단일 스레드 성능과 낮은 전체 처리량으로 특징지어졌습니다.
"인텔이 데이터센터 시장 점유율을 주도하던 그 시절에는 높은 단일 스레드 성능을 자랑했지만, 코어 수가 많지 않아 처리량이 낮았습니다."
거대한 클라우드 초거대 기업들이 성장함에 따라 산업은 규모 경제를 향해 방향을 전환했습니다. 수요는 서버 단위당 수익을 극대화하기 위해 단일 서버에 가능한 한 많은 코어를 밀집시키는 방향으로 바뀌었습니다. 이러한 밀집도를 달성하고 비용을 통제하기 위해 x86 벤더들은 단일 칩 설계에서 멀티 칩렛(Multi-chiplet) 레이아웃으로 전환했습니다. 그러나 이러한 막대한 코어 수의 확장은 코어당 최적화와 사이클당 명령어 수(Instructions Per Cycle, IPC)를 직접적인 대가로 치렀습니다.
이러한 시기는 하우단 우측 사분면에 위치했으며, 막대한 처리량을 제공하지만 낮은 단일 스레드 성능을 보였습니다.
"그 기간 동안 CPU 설계 측면에서 희생된 것은 실제로 단일 스레드 성능과 IPC였습니다. 칩렛을 사용하면 칩 위에 코어당 성능을 설계할 공간이 literally(문자 그대로) 없기 때문입니다."
에이전트 AI의 부상은 CPU를 하드웨어 설계의 중심부로 다시 돌려놓았습니다. AI 에이전트는 GPU와 CPU 사이에서 연속적이고 빠른 루프를 작동합니다. GPU는 AI 공장에서 가장 비싸고 가치 있는 자산이기 때문에 CPU는 GPU가 대기하지 않도록 순차적 작업을 즉시 완료해야 합니다. 이러한 패러다임은 속도, 메모리 접근성, 그리고 최소한의 지연 시간을 결합한 전례 없는 조합을 요구합니다.
"에이전트가 CPU에서 필요한 순차적 작업을 완료한 후 다음 추론 단계를 위해 GPU로 돌아가기를 원합니다. 왜냐하면 GPU는 여전히 AI 공장 내에서 가장 가치 있는 자산 중 하나이기 때문이며, 따라서 이러한 비싼 자산을 높은 활용도로 유지하기를 원하기 때문입니다."
NVIDIA의 Vera CPU는 클라우드 시대의 역사적인 트레이드오프를 깨뜨려 에이전틱(Agentic) 병목 현상을 해결하며, 단일 스레드 성능이 높고 처리량(throughput)도 높은 희귀한 우상단 사분면에 자리 잡았습니다. 이는 세 가지 구체적인 설계 선택을 통해 달성됩니다. 즉, 높은 코어당 속도, 막대한 대역폭을 위한 맞춤형 LPDDR5X 메모리 서브시스템, 그리고 지연 시간을 제거하기 위해 2세대 NVIDIA 확장 가능 일관성 인터페이스(Scalable Coherent Fabric)로 구동되는 단일 모놀리식 컴퓨트 다이(monolithic compute die)입니다.
“...즉, 단일 모놀리식 다이와 같습니다. 그 다이 위의 모든 코어가 IO 경계를 넘나들지 않고 그로 인한 지연 시간을 발생시키지 않고 서로 통신할 수 있습니다. 이것이 바로 Vera의 구성 방식이며, 우리가 이를 차별화된 것으로 보는 이유입니다. 이는 새로운 카테고리를 형성하는데, 제가 설명한 사분면으로 돌아가보면, 이는 클라우드 이전 CPU도 클라우드 CPU도 아닌, 높은 단일 스레드 성능과 높은 처리량을 모두 갖춘 사분면의 우상단 상자에 해당합니다.”
요약: Vera는 NVIDIA가 에이전틱 AI를 위해 처음부터 설계한 CPU로, 현대 AI 시대의 특정 병목 현상을 해결하도록 설계되었습니다. 클라우드 시대에는 밀집되고 성능이 낮은 칩렛 코어를 통해 처리량을 우선시했지만, 에이전틱 AI는 GPU와 CPU 간의 빠른 루프를 필요로 합니다. 비싼 GPU를 높은 가동률로 유지하기 위해 에이전트는 높은 단일 스레드 성능, 높은 메모리 대역폭, 낮은 지연 시간을 요구합니다. Vera는 단일 모놀리식 컴퓨트 다이, 맞춤형 LPDDR5X 메모리 서브시스템, 2세대 확장 가능 일관성 인터페이스를 통해 이를 달성하며, 높은 단일 스레드 성능과 높은 처리량을 결합한 새로운 카테고리에 위치합니다.
CPU 기능의 분해, 올림푸스 코어, 공간 멀티스레딩으로 인한 성능 과세
질문: SK하이닉스가 HTPU(Hynix Transaction Processing)를 발표했는데, 이는 기본적으로 SSD 내부에 약 100개의 작은 프로세서가 반복적인 저수준 작업을 처리하여 일반 프로세서가 고수준 작업에 집중할 수 있게 하는 것입니다. NVIDIA는 CPU 기능에서 이와 유사한 분해를 관심 있게 보거나 추진하고 있습니까?
답변: AI 인프라 환경은 균일한 올인원 서버 노드에서 매우 특화되고 이종(heterogeneous) 구성으로 전환되고 있습니다. 이 트렌드의 대표적인 예는 현대 AI 추론 워크로드에서 볼 수 있는데, 여기서 처리의 서로 다른 단계인 데이터 초기 읽기(프리필, pre-fill)와 토큰의 순차적 생성(디코드, decode)은 효율성을 최적화하기 위해 이제 완전히 별도의 하드웨어 클러스터 간에 분할되어 일반적으로 처리됩니다.
“제 말은, AI 인프라 공간 전반에서 많은 고수준의 분해가 일어나고 있다는 것입니다. 예를 들어 추론을 살펴보고 프리필과 디코드를 별도의 인프라로 분리하는 방식을 보면, 이는 이종 인프라에서 큰 트렌드이며 전반적인 트렌드이기도 합니다.”
NVIDIA의 초기 CPU 전략[그레이스 프로세서에서 볼 수 있음]은 서버 랙 내 GPU 클러스터에 데이터를 공급하기 위해 설계된 궁극의 ‘호스트 노드’를 만드는 데 중점을 두었습니다. 그러나 에이전틱 워크플로우와 강화 학습의 독특한 요구 사항으로 인해 전환이 강요되었으며, 특히 NVIDIA가 에이전트 도구 호출과 강화 학습 작업을 처리하기 위한 순수 CPU 랙의 사용 사례가 있음을 깨달으면서 이러한 변화가 더욱 두드러졌습니다.
“...우리는 호스트 노드로서 Grace를 갖춘 CPU에 집중하고 있었습니다. 랙 내에서 1-8 또는 1-4의 구성으로, 우리는 가능한 최고의 호스트 노드를 원했습니다. 그러던 중 우리는 실제로 순수한 CPU만으로 구성된 랙처럼 많은 독립형 CPU가 필요한 시점이 있다는 것을 깨달았습니다. 이는 모든 에이전트 도구 호출과 강화 학습을 위해 필요한 것이기 때문입니다...”
이러한 전환으로 인해 Vera CPU는 이제 Vera-Rubin 스택과 같은 결합된 GPU-CPU 아키텍처 내부에 갇힌 통합 구성 요소로만 간주되지 않습니다. 대신 Vera는 에이전트 도구 호출과 추론 루프의 대용량 처리를 위해 순수한 Vera 프로세서로만 구성된 ‘순수 랙’을 갖춘 독립적인 스탠드얼론 CPU 자산으로 상업화되고 있습니다.
“...이 전환은 일종의 분해(disaggregation)와 매우 유사합니다. 왜냐하면 우리는 단순히 Vera-Rubin 스택의 일부가 되는 것이 아니라, Vera를 스탠드얼론 CPU로 보유하는 것이 중요하다는 점을 강조하고 있기 때문입니다.
그래서 제 생각에는 질문자님의 질문에 답하는 한 가지 방식으로, Vera 자체의 이러한 전환은 그 방향성을 향한 한 걸음입니다. 하지만 제가 알기로는, 질문자님께서 언급하신 특정 사용 사례와 관련하여 매우 유사한 작업을 수행할 계획이 있는지 여부는 잘 모르겠습니다.”
요약하자면: SK하이닉스의 특정 사용 사례에 대해서는 언급할 수 없지만, AI 인프라의 더 넓은 추세는 분해 방향으로 크게 이동하고 있습니다. Vera 자체의 전환은 이 방향을 향한 한 걸음으로, NVIDIA는 통합 스택 내에서 호스트 노드로서 CPU를 사용하는 것보다 에이전트 도구 호출과 강화 학습을 위해 막대한 양의 독립형 CPU 랙이 필요하다는 것을 시장이 요구한다는 점을 깨달았습니다.
질문: NVIDIA가 Grace보다 약 50% 더 높은 IPC(클릭당 명령어 수)를 가지고 있다고 언급했죠? 그리고 CPU는 막대한 10-와이드 디코드 폭을 가지고 있습니다. 그래서 저는 예측 불일치가 발생할 경우 지연 시간이 어떤지, Vera가 Grace 대비 얼마나 많은 사이클을 필요로 하여 복구하는지 궁금합니다. 이에 대한 매우 대략적인 개요를 주실 수 있나요?
답변: Vera CPU는 전작 대비 1.5배 빠른 성능을 제공하며 처리 능력에서 비약적인 도약을 이루었습니다. 특히 Python 스크립팅 및 코드 컴파일과 같은 순차적 작업에 크게 의존하는 에이전트 워크로드에 대해 업계 선두의 x86 프로세서와 비교했을 때, Vera는 기하 평균 기준으로 1.6배의 우위를 점하며 최대 2배까지 빠르게 확장됩니다.
“...우리는 Grace보다 1.5배 빠르지만, x86 대비 에이전트 워크로드에서는 2배 더 빠릅니다. 즉, Grace가 아닌 선두 x86 부품 대비 2배 더 빠릅니다. 에이전트 워크로드에서 2배 더 빠릅니다.”
NVIDIA는 전통적인 동시 멀티스레딩(SMT) 방식에 의존하는 대신, Spatial Multithreading이라는 CPU 네이티브 기능을 구현합니다. 이 독점 기능은 칩이 전용 ‘워커’ 스레드와 ‘I/O’ 스레드를 엄격하게 할당할 수 있게 합니다. 이 분할은 데이터 센터 전체의 컴퓨팅 부하가 극심하더라도 코어가 백그라운드 작업을 처리하기 위해 주요 처리 스레드의 사이클을 고아두지 않도록 보장합니다.
“...NVIDIA는 자체 독점적인 스페이셜 멀티스레딩을 사용합니다... 이를 통해 워커 스레드로 하나의 스레드를, I/O 스레드로 하나의 스레드를 할당할 수 있습니다. 이는 더 최적화된 자원 할당을 위한 방법입니다.
다른 경쟁 아키텍처에서는 종종 부하로 인해 I/O나 다른 코어에 공급하기 위해 워커 스레드의 사이클을 빼앗길 수 있습니다. 그러나 우리의 스페이셜 멀티스레딩은 이러한 유형의 자원 균형을 유지할 수 있게 해줍니다.”
이 복잡한 스레드 스케줄링이 아키텍처 지연 시간이나 오버헤드를 초래하는지에 대한 업계의 우려를 해소하기 위해, 독립적인 테스트를 통해 성능 저하가 없음을 입증했다. 최근 제3자 하드웨어 사이트인 포로닉스(Phoronix)의 심층 리뷰는 NVIDIA의 공간 멀티스레딩이 상당한 효율성 향상을 가져온다는 것을 확인했다.
“...우리는 – 제 기억으로는 포로닉스가 일주일 전에 기사를 게시했는데... 그들이 NVIDIA의 Vera에 적용된 SMT가 실제로 약 20%의 성능 향상을 제공한다는 것을 확인했습니다. 따라서 성능 저하가 아니라, 오히려 그 반대인 역효과가 발생했습니다.”
요약: Vera는 전반적으로 Grace보다 1.5배 빠르며, 특히 Python 스크립팅 및 LLVM 컴파일과 같은 에이전트 워크로드에서는 선도적인 x86 경쟁사보다 2배 더 빠르다. NVIDIA의 독점적인 공간 멀티스레딩은 오버헤드를 발생시키지 않으며, 오히려 부하가 많이 걸려도 최적의 자원 균형을 유지하기 위해 작업자 스레드와 I/O 스레드를 제공한다. 포로닉스의 제3자 분석에 따르면 이 멀티스레딩은 실제로 약 20%의 성능 향상을 제공한다.
NVIDIA의 CPU 대 GPU 비율 전망에 대한 견해
질문: Meta가 Muse 에이전트를 출시했을 때, AI 환경에서의 CPU 대 GPU 비율이 최종적으로 80:1에 도달할 수 있다는 단서가 있었다. 이는 현실적인가, 그리고 이것이 Vera의 수요에 어떤 영향을 미치는가?
답변: NVIDIA는 공식적으로 80:1 비율을 지지하거나 전망하지는 않지만, 에이전트 도구 호출의 산업적 규모는 막대하며, 일부 샌드박스 제공업체는 단일 고객에게 최대 400,000개의 샌드박스를 호스팅하고 있다. 잠재적으로 수조 개의 실행 중인 샌드박스를 지원하기 위해 인프라 비율이 CPU 방향으로 크게 이동하고 있으며, 이는 NVIDIA가 독립형 Vera CPU 랙을 추진하는 원동력이 되고 있다.
“우리는 일반적으로 매우, 음, 솔직히 말해서, 제가 사람들이 이 질문을 할 것이라는 것을 알고 있습니다. 우리는 솔직히, 정직하게, 진실하게, 비율 문제에 대한 견해를 가지고 있지 않습니다. 사람들이 자주 묻지만 우리는 없습니다.
그리고 우리가 왜 그런 말을 하고 싶지 않은지 상상할 수 있을 것입니다. 우리가 어떤 것을 내놓는다면 그것은 곧바로 비즈니스 방향에 대한 신호를 보낼 것이기 때문입니다.
그리고 저는 CPU 팀 내부에서도 우리가 그 숫자가 무엇일지조차 모른다고 말할 수 있지만, 그것이 이동하는 숫자이며 CPU 방향으로 이동하고 있다는 점은 믿고 있습니다. 따라서 우리가 Vera가 무엇에 적합한지, Vera가 에이전트용 CPU라는 것을 시장이 이해하도록 모든 노력을 기울이는 이유입니다. 에이전트나 강화 학습을 위해 독립형 CPU 랙을 배포하고 싶다면, Vera를 고려하기를 바랍니다.”
NVIDIA Vera의 모놀리식 다이
질문: NVIDIA는 경쟁사가 사용하는 칩렛 아키텍처 대신 Vera에 모놀리식 다이(단일 다이)를 선택한 이유는 무엇인가?
답변: 기존 x86 제조업체들이 일상적인 소비자(클라이언트 PC)와 고급 데이터 센터 모두를 위해 복잡하고 유연한 아키텍처를 설계해야 했던 것과 달리, NVIDIA는 역사적인 세그먼트에 얽매이지 않고 완전히 독립적인 CPU 시장에 진입했다. 이러한 독특한 포지셔닝은 Vera를 단일 타겟, 즉 초고성능 AI 데이터 센터만을 위해 설계할 수 있는 특권을 제공했다.
“...진정으로 Vera가 우리가 포지셔닝한 첫 번째 제품인 이유는, 우리가 과거의 세그먼트에 얽매이지 않았기 때문입니다... AMD와 Intel은 데이터 센터뿐만 아니라 클라이언트 시장도 서비스해야 합니다. 그들은 단일 아키텍처로 다양한 세그먼트를 서비스해야 합니다... 우리는 정말로 데이터 센터 시장을 위해 설계할 수 있는 특권을 가졌습니다.”
AI 에이전트와 데이터 분석이 요구하는 강력한 메모리 접근 루프를 충족하기 위해, 엔비디아는 경쟁사들이 채택한 멀티 칩렛(Multi-chiplet) 트렌드를 의도적으로 거부하고 단일 모놀리식 다이(Monolithic die)를 선호했다. 기본적으로 모든 코어를 하나의 연속적인 실리콘 덩어리에 유지함으로써, 엔비디아는 별도의 칩렛 간 경계를 넘어 데이터가 통신할 때 발생하는 내부 성능 ‘세금’을 완전히 제거할 수 있었다.
“칩의 왼쪽 상단에 있는 코어가 칩의 오른쪽 하단에 있는 코어와 I/O 경계를 넘나들지 않고 통신할 수 있는 모놀리식 다이를 사용하는 것은, 우리にとって 가치 있는 설계 포인트였습니다... 이는 에이전틱 AI는 물론, 단순한 데이터 처리 및 데이터 분석을 위해 데이터 이동을 극대화하는 데 있어 우리의 설계 포인트에 중요했습니다.”
이러한 모놀리식 엔지니어링은 협력 컴퓨팅에서 막대한 성능 우위로 이어진다. 베라(Vera) CPU는 unprecedented한 3.4테라바이트/초의 바이섹션 대역폭을 달성하여, 개별 프로세서 코어가 문맥 정보를 공유하고 협력하는 속도를 주요 x86 칩보다 3배 빠르게 만들었다.
“우리는 3.4테라바이트/초의 바이섹션 대역폭을 제공할 수 있는데, 이는 주요 x86 칩보다 3배 더 높은 수치입니다. 즉, 코어들이 때때로 공유된 문맥에 대해 협력해야 할 때가 있습니다. x86 칩보다 공유된 문맥에 대해 협력하는 속도가 3배 더 빠릅니다.”
모놀리식 접근 방식은 베라의 특정 성능 목표를 달성하는 데 수학적으로 필요했지만, 엔비디아는 미래의 칩렛 기술에 대해 매우 실용적이고 중립적인 입장을 고수한다. 만약 미래의 시장 기회가 칩렛 설계를 요구한다면, 회사는 경직된 설계 철학보다 공학적 유용성을 선택하여 칩렛 설계로 전환할 것이다.
“우리는 어떤 시장 기회에 어떤 설계 포인트를 충족시킬 것인지에 대해 매우 균형 잡힌 접근을 할 것이라고 생각합니다... 하지만 저는 우리가 그것에 대해 어떤 종교적 신념을 가지고 있다고 말하기는 어렵다고 생각합니다. 그것은 우리가 달성하려는 목표에 맞는 것이 무엇인지에 더 가깝습니다.”
요약: 엔비디아는 데이터 센터와 클라이언트 요구사항을 균형 맞추는 것과 같은 레거시 세그먼트의 제약으로부터 자유롭기 때문에, 칩을 데이터 센터와 에이전틱 AI를 위해 엄격하게 설계할 수 있는 특권을 누리고 있다. 모놀리식 다이는 코어가 칩 전체에서 I/O 경계를 넘나들지 않고 통신할 수 있게 함으로써 데이터 이동을 극대화하며, 3.4테라바이트/초의 바이섹션 대역폭을 생성한다. 이는 주요 x86 칩보다 3배 더 높은 수치이다. 그럼에도 불구하고, 시장 요구사항이 다른 아키텍처를 필요로 할 경우 엔비디아는 미래의 칩렛 아키텍처에 개방적인 태도를 유지한다.
더 많은 뉴스 커버리지를 피드에서 받아보려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
NVIDIA's Vera CPU heralds a redefinition of computing architecture from a traditional, task-isolated paradigm to an orchestrated, agentic intelligence ecosystem, shifting the role of the central processing unit (CPU) from a general-purpose multitasker into a specialized conductor designed specifically to manage the chaotic, multi-step reasoning loops of AI agents.
Recently, Wccftech got an opportunity to sit down with NVIDIA's Vera team for an informative tête-à-tête on the emerging role of the CPU in the rapidly growing agentic AI economy. So, delve in as we discuss the rebirth of single-threaded performance, the staggering scale of CPU-controlled AI sandboxes, and the evolving CPU-to-GPU ratio.
After years of cloud infrastructure prioritizing massive core counts at the expense of per-core speed, agentic AI is forcing a reversal, and NVIDIA's Vera is a manifestation of this paradigm shift
Question: Can you provide a brief overview of what the Vera CPU is all about?
Answer: In the early 2010s, data center design focused on maximizing the performance of individual processor cores rather than the sheer quantity of cores. During this period, market leaders like Intel focused on architectures (such as the Haswell generation) that featured fewer cores running at higher clock frequencies.
This era sat in the top-left quadrant of CPU design, characterized by high single-threaded performance but low overall throughput.
"That's a time period when, when Intel was leading in data center market segment share... you have high single threaded perf but low throughput because you don't have as many cores."
As massive cloud hyperscalers grew, the industry pivoted toward scale economics. The demand shifted toward packing as many cores into a single server as possible to maximize monetization per server unit. To achieve this density and control costs, x86 vendors transitioned away from single-chip designs to multi-chiplet layouts. However, this massive expansion in core count came at the direct expense of single-core optimization and Instructions Per Cycle (IPC).
This era occupied the bottom-right quadrant—offering massive throughput but low single-threaded performance.
"...what suffered over that time in terms of CPU design was really single-threaded perf and IPC because when you fill, when you use chiplets, you just, you literally don't have the space on the, on the chip to design for per core perf."
The rise of Agentic AI has placed the CPU back at the center of the hardware design path. AI agents operate in a continuous, rapid loop between the GPU and the CPU. Because GPUs are the most expensive and valuable assets in an AI factory, the CPU must complete its sequential tasks instantly to prevent the GPU from sitting idle. This paradigm requires an unprecedented combination of speed, memory access, and minimal lag.
"...you want the agent to complete whatever sequential work on the CPU it needs, but then go back to the GPU for the next reasoning step because your GPUs are still among your most valuable assets in your AI factory, and so you don't, you want to keep those assets, expensive assets highly utilised..."
NVIDIA’s Vera CPU solves the agentic bottleneck by breaking the historical trade-offs of the cloud era, positioning itself in the elusive top-right quadrant - high single-threaded performance coupled with high throughput. It accomplishes this through three specific design choices: high per-core speed, a custom LPDDR5X memory subsystem for massive bandwidth, and a single monolithic compute die powered by the second-gen NVIDIA Scalable Coherent Fabric to eliminate latency.
"...so it's like a single monolithic die, all the cores on that, single monolithic compute die, all the cores on that die can talk to each other without crossing any IO boundaries and incurring any latency because of that, so that's really the sort of the setup for what Vera is, why we think it's differentiated, it's really kind of sets this new category, like if we come back to the quadrant I was describing, it's neither the pre-cloud CPU nor is it the cloud CPU, it's like the top right box of the quadrant, which is like high single-threaded perf as well as high throughput."
TL:DR: Vera is NVIDIA’s first purpose-built CPU for agentic AI, designed to address the specific bottlenecks of the modern AI era. While the cloud era prioritized throughput with dense, low-performance chiplet cores, agentic AI requires a fast loop between the GPU and CPU. To keep expensive GPUs highly utilized, agents demand high single-threaded performance, high memory bandwidth, and low latency. Vera achieves this through a monolithic compute die, a custom LPDDR5X memory subsystem, and a second-generation Scalable Coherent Fabric, placing it in a new category that combines high single-threaded performance with high throughput.
Disaggregation in CPU function, Olympus cores, and a performance tax from spatial multithreading
Question: With SK Hynix announcing HTPU (Hynix Transaction Processing) - where you basically have about 100 tiny processors inside an SSD handling repeated low-level tasks, leaving the general processor to focus on high-level tasks - is NVIDIA interested in or pursuing a somewhat similar disaggregation in CPU functions?
Answer: The AI infrastructure landscape is shifting away from uniform, all-in-one server nodes toward highly specialized, heterogeneous setups. A prime example of this trend is seen in modern AI inference workloads, where the distinct phases of processing - the initial reading of data (pre-fill) and the sequential generation of tokens (decode) - are now routinely split across entirely separate hardware clusters to optimize efficiency.
"I mean, there's a lot of, I would say, high-level, there's a lot of disaggregation happening in the AI infrastructure space in general, like if you just take inference and how you separate pre-fill and decode on separate infrastructure, now that's largely a trend in heterogeneous infrastructure, that's very much a trend in general."
NVIDIA's original CPU strategy [seen with the Grace processor] focused on creating the ultimate "host node" - a processor designed purely to feed data to a cluster of GPUs within a server rack. However, the unique demands of agentic workflows and reinforcement learning have forced a pivot, especially as NVIDIA realized that there was a use case for pure CPU racks to handle agent tool calls and reinforcement learning tasks.
"...we were focused on CPU with grace as a host node, as the 1-8 or 1-4 in a rack, we wanted the best host node possible. Then we realized, we saw that actually there is a point where you would actually want a lot of standalone CPUs, like pure racks of just CPUs because for all those agent tool calls for reinforcement learning..."
Because of this pivot, the Vera CPU is no longer viewed strictly as an integrated component trapped inside a combined GPU-CPU architecture (like the Vera-Rubin stack). Instead, Vera is being commercialized as an independent, standalone CPU asset, replete with "pure racks" of Vera processors solely to crunch through massive volumes of agent tool calls and reasoning loops.
"...that pivot is a lot like disaggregation in a way, because you're saying instead of it just being part of the Vera-Rubin stack, we think that there's an importance of having Vera standalone CPU.
So I guess in a way to answer your question, that pivot with Vera in and of itself is a step in that direction. But I don't know, like in the particular use case you described, if we have plans along doing something very similar."
TL; DR: While unable to comment on the specific SK Hynix use case, the broader trend in AI infrastructure is heavily moving toward disaggregation. The pivot with Vera itself represents a step in this direction, as NVIDIA realized the market needs massive standalone CPU racks for agent tool calls and reinforcement learning, rather than strictly using CPUs as host nodes within a unified stack.
Question: So NVIDIA mentions that they have around a 50 percent higher IPC than Grace, right? And the CPU also has a massive 10-wide decode width. So I was just wondering if a misprediction occurs, what's the latency like? How many cycles does it take for Vera to recover versus Grace? Can you give me a very rough outline of this?
Answer: The Vera CPU achieves a massive leap in processing power, delivering 1.5x faster performance than its predecessor, Grace. When measured against the industry's leading x86 processors specifically on agentic workloads - which rely heavily on sequential tasks like Python scripting and code compilation - Vera scales up to 2x faster, with a 1.6x advantage on a geometric mean basis.
"...we're 1.5x faster than Grace, but we're also 2x faster on agentic workloads versus x86. So not versus Grace, but versus the leading x86 part. We are 2x faster for agentic workloads."
Rather than relying on traditional Simultaneous Multithreading methods, NVIDIA implements a CPU-native capability called Spatial Multithreading. This proprietary feature allows the chip to rigidly provision dedicated "worker" and "I/O" threads. This division guarantees that even under heavy, data-center-wide compute loads, a core will never starve its primary processing threads of cycles to handle background operations.
"...NVIDIA employs their own proprietary spatial multithreading... It allows you to provision, like, one thread as your worker thread and one thread as your I/O thread. And it's a way to have more optimal resource allocation.
And that underloads, oftentimes, in other competing architectures. You might rob your worker
thread of cycles in order to feed I/O or other cores because of the load. And so our spatial
multithreading actually allows you to maintain that type of resource balance."
Addressing industry concerns regarding whether this complex thread scheduling introduces architectural latency or overhead, independent testing has proven there is no performance tax. A recent deep-dive review by the third-party hardware site Phoronix verified that NVIDIA's spatial multithreading yields a notable efficiency gain.
"...we had – I think it was Phoronix who published a piece just a week ago... they confirmed that the NVIDIA SMT on Vera actually delivers about a 20 percent performance uplift. So not a tax, but in fact quite the opposite, the inverse."
TL; DR: Vera is 1.5x faster than Grace overall, and notably 2x faster than leading x86 competitors specifically on agentic workloads like Python scripting and LLVM compilation. NVIDIA’s proprietary spatial multithreading does not incur a tax; rather, it provisions worker and I/O threads to maintain optimal resource balance even under heavy loads. A third-party analysis by Phoronix confirmed that this multithreading actually delivers about a 20 percent performance uplift.
NVIDIA's view on where the CPU-to-GPU ratio might eventually land
Question: When Meta launched its Muse agent, some tidbits suggested the CPU-to-GPU ratio in AI environments could eventually hit 80:1. Is this realistic, and how does it impact Vera's demand?
Answer: While NVIDIA does not officially endorse or project the 80:1 ratio, the industry volume of agent tool calls is massive, with some sandbox providers hosting up to 400,000 sandboxes for a single customer. The infrastructure ratio is actively shifting heavily in the direction of CPUs to support potentially trillions of executing sandboxes, which is driving NVIDIA's push for standalone Vera CPU racks.
"We are generally very, I mean, to be honest, I know that folks will ask this question. We don't
frankly, quite honestly, truthfully, we do not have a point of view on the ratio question. People ask often and we don't.
And, you can imagine why we wouldn't want to say, we wouldn't want to put anything out there because that would immediately signal something about the direction of the business.
And I'll just say that we in the CPU team really don't even, we don't have an idea of what the number is going to be, but we do believe that it's a shifting number, and it's shifting in the direction of CPUs, and hence why we are putting all this effort into making sure that the market understands what Vera is good for, that Vera is the agentic CPU. If you want to deploy standalone CPU racks for agentic or reinforcement learning, we hope that you're thinking about Vera for that."
NVIDIA Vera's monolithic die
Question: Why did NVIDIA choose a monolithic die for Vera instead of the chiplet architecture used by competitors?
Answer: Unlike legacy x86 manufacturers who must design complex, flexible architectures to serve both everyday consumers (client PCs) and high-end data centers, NVIDIA entered the standalone CPU space completely unencumbered by historical segments. This unique positioning gave them the luxury of designing Vera exclusively for a single target: the ultra-high-performance AI data center.
"...truly Vera is the first one that we're positioning after, is that we are unencumbered by segments past... AMD and Intel, they have to serve not only data centre, but they also have to serve client. They have different segments that have to serve with a single architecture... We really had the luxury of designing for the data centre market."
To satisfy the intense memory-fetching loops of AI agents and data analytics, NVIDIA deliberately rejected the multi-chiplet trend of its competitors in favor of a single monolithic die. Basically, by keeping all cores on one continuous piece of silicon, NVIDIA was able to completely eliminate the internal performance "tax" that occurs when data is forced to cross-communicate boundaries between separate chiplets.
"...having a monolithic die, where the core in the top left corner of the chip can talk to the core at the bottom right corner of the chip without crossing I/O boundaries and incurring attacks, that was a valuable design point for us... it was important to our design point for like maximising data movements for not only agentic AI, but also just straight up data processing and data analytics."
This monolithic engineering translates into a massive performance advantage for collaborative computing. The Vera CPU achieves an unprecedented 3.4 terabytes per second of bisection bandwidth, allowing individual processor cores to collaborate and share contextual information 3x faster than the leading x86 chips.
"...we can deliver 3.4 terabytes per second of bisection bandwidth, which is 3x higher than the leading x86 chip. So that means like, you know, sometimes cores have to collaborate on shared context. And so they don't, you know, it's three times faster for them to collaborate on shared context than it is for an x86 chip."
While the monolithic approach was mathematically required to achieve Vera's specific performance targets, NVIDIA maintains a highly pragmatic, agnostic stance on chiplet technology for the future. The company will pivot to chiplet designs if a future market opportunity dictates it, choosing engineering utility over rigid design philosophies.
"...I think we're just going to be very balanced about like, what are the design points we want to meet for what market opportunity?... But I would say it's sort of like, we're not, I guess I wouldn't say we don't have a religion around it. It's more like what is right for what we're trying to achieve."
TL; DR: Because NVIDIA is unencumbered by legacy segment demands [like balancing data center and client needs], it has the luxury of designing its chips strictly for data center and agentic AI. A monolithic die maximizes data movement by allowing cores across the chip to communicate without crossing I/O boundaries, yielding 3.4 terabytes per second of bisection bandwidth - 3x higher than leading x86 chips. Even so, NVIDIA remains open to chiplet architectures in the future if market demands necessitate a different architecture.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com