엔비디아 ‘베라’ CPU, 에이전틱 AI 환경에서 AMD EPYC ‘젠5’보다 2배 빠른 부팅 속도 입증
🇰🇷 한글 번역
NVIDIA의 Vera CPU는 Daytona가 시연한 대로 에이전트형 AI 워크로드에서 강력한 코어당 성능을 지속적으로 입증하고 있다.
NVIDIA Vera, 새로운 에이전트형 AI 벤치마크에서 AMD EPYC와 경쟁하며 Arm CPU가 x86 대비 8배의 성능 향상 주도
Daytona는 AI 생성 코드 실행 및 에이전트 워크로드를 위한 전용 런타임이다. 해당 팀은 최신 벤치마크 결과를 공개했는데, 이는 NVIDIA Vera CPU를 AMD EPYC 'Zen 5' 칩과 비교하여 Vera의 아키텍처가 에이전트형 샌드박스에 어떤 이점을 가져다주는지 살펴보는 것이다. 그 결과는 매우 놀라울 정도다.
우리는 수년간 에이전트형 AI 워크로드가 강력한 CPU 인프라에 의해 구동된다는 사실을 배워왔다. 에이전트형 AI 시대에 GPU에서 CPU로의 이동은 상당했으며, 파일시스템, 의존성, 셸 및 테스트를 아우르는 워크로드가 새로운 AI 시장의 중심에 서면서 CPU는 빠르고 효율적이며 이러한 유형의 워크로드를 지원할 수 있도록 설계되어야 한다.
NVIDIA Vera CPU는 AI를 최우선으로 고려하여 설계되었으며, 이는 벤치마크 결과에서 잘 드러난다. Daytona 팀은 동일한 코딩 에이전트 작업을 Daytona 샌드박스 '대규모 클러스터'에서 실행하여 칩들의 에이전트형 워크로드 성능을 측정했다. 이러한 CPU들은 많은 수의 샌드박스를 지원할 뿐만 아니라 빠르게 시작할 수 있어야 한다는 점이 중요하다.
테스트에서 NVIDIA Vera CPU는 초당 완료된 에이전트 작업 13.3개의 최고 처리량에 도달했다. 더 중요한 것은 1000개의 샌드박스를 단 10초(10.8초) 만에 온라인 상태로 만들고, 2000개의 샌드박스를 27초 만에 온라인 상태로 만들었다는 점이다. 비교를 위해 AMD의 EPYC 'Zen 5' 칩은 1000개의 샌드박스를 온라인 상태로 만드는 데 88초가 걸렸다. 이는 샌드박스 온라인 시간 기준으로 8배의 속도 향상이다.
여기서 Vera의 더 빠른 코어당 성능이 중요한 역할을 한다. 비교에 사용된 기준 AMD EPYC Zen 5 칩은 EPYC 9755였으며, 이 칩은 1000개의 샌드박스를 88.4초 만에 온라인 상태로 만들었다. 더 높은 클럭 속도의 EPYC 9575F 칩은 동일한 작업을 32.3초 만에 수행했다.
AMD는 더 높은 클럭 속도의 칩에서 더 빠른 성능을 이끌어냈지만, Vera는 Zen 5 아키텍처보다 앞선 코어당 성능 덕분에 여전히 선두를 유지했다. Vera CPU는 Zen 5가 1000개의 샌드박스를 온라인 상태로 만드는 데 걸리는 시간보다 2000개의 샌드박스를 더 빠르게 온라인 상태로 만들 수 있으며, 이는 막대한 속도 향상이다.
AMD는 이후 Zen 6 EPYC CPU를 출시했으며, 이는 에이전트형 AI 워크로드에서 훨씬 더 나은 결과를 제공할 수 있을 것으로 예상된다. 왜냐하면 이것이 AMD의 주요 집중 영역 중 하나이기 때문이다. 그러나 Vera는 Grace CPU 대비 에이전트형 AI 분야에서 NVIDIA의 큰 도약이며, Zen 5보다 빠른 성능을 제공하고 Zen 6 칩과 경쟁할 수 있는 수준이다.
- EPYC 9575F: 초당 약 8개의 에이전트 작업에서 정점 도달
- EPYC 9755: 초당 약 11개의 에이전트 작업에서 정점 도달
- NVIDIA Vera: 초당 13.3개의 에이전트 작업에 도달하며 2000개의 샌드박스까지 약 13에 근접한 수준 유지
Daytona가 추가로 공개한 흥미로운 지표는 머신당 처리량으로, 이는 이러한 워크로드를 유지하는 데 필요한 머신 수를 포괄한다. 초당 1000개의 작업을 완료하기 위해 NVIDIA의 Vera 플랫폼은 EPYC 9755 대비 15% fewer, EPYC 9575F 대비 38% fewer의 머신을 필요로 한다.
이는 Vera가 더 적은 서버로 더 많은 작업을 수행하고, 전력 소비와 냉각 비용을 낮추며 대규모 AI 팩토리 구축 비용을 절감할 수 있게 함으로써 총 소유 비용(TCO)에 기여한다. 또는 경쟁사와 동일한 인프라 예산 내에서 더 높은 처리량을 달성할 수도 있다.
“제가 관심 있는 수치는 최고치가 아닙니다. 머신이 가득 찼을 때 일어나는 일입니다. 베라는 2,000개의 샌드박스까지 거의 동일한 속도로 에이전트 워크로드를 계속 실행합니다. 속도가 약간 느려지기는 하지만 무너지지 않고 안정적으로 유지됩니다. 단일 머신에서 수천 개의 에이전트가 작동하고, 베라는 이를 계속 살아있게 만듭니다. 그것이 중요한 것입니다.”
— 베드란 주키치, 공동 창업자 겸 최고기술책임자(CTO)
에이전트들은 인프라를 밀도 문제로 전환시키고 있습니다. 각 에이전트는 자체 파일 시스템, 도구 및 환경을 필요로 하며, 이러한 환경은 수천 개가 생성되어야 하고 공유 하드웨어 위에서 생산성을 유지해야 합니다.
이러한 측정 기준에서 엔비디아 베라가 돋보였습니다. 베라는 10.8초 만에 1,000개의 데이나토 샌드박스를 온라인으로 연결했고, 27.4초 만에 2,000개를 연결했습니다. 또한 2,000개의 동시 샌드박스에서도 초당 완료된 에이전트 작업이 13개에 가까울 정도로 높은 처리량을 유지했으며, 이는 동일한 작업량을 처리하는 데 필요한 EPYC 9755보다 약 15% 적은 머신 수와 9575F보다 약 38% 적은 머신 수를 의미합니다.
더 많은 뉴스 커버리지를 피드에서 받아보시려면 Wccftech를 구글에서 팔로우하세요.
📄 원문 (English)
NVIDIA's Vera CPU continues to showcase its strong per-core performance in Agentic AI workloads as demoed by Daytona.
NVIDIA Vera Tackles AMD EPYC In New Agentic AI Benchmarks As The Arm CPU Drives Performance By 8x Over x86
Daytona is a dedicated runtime for AI-generated code execution and agent workflows. The team is sharing its latest benchmarks, which pit the NVIDIA Vera CPU against the AMD EPYC "Zen 5" chips to see how Vera's architecture benefits agentic sandboxes, & the results are quite an eye-opener.
As we have learned over the years, Agentic AI workflows are fueled by strong CPU infrastructure. The move from GPUs to CPUs has been substantial in the Agentic AI era, and with workloads that span filesystems, dependencies, shells, and tests becoming the center stage of the new AI market, CPUs have to be designed in a way to be fast, efficient, and support these types of workflows.
The NVIDIA Vera CPU is designed with AI first in mind, and this shows in the benchmarks. The Daytona team measured the performance of the chips on agentic workflows using the same coding-agent task across "large fleets" of Daytona sandboxes. It is essential that these CPUs not only support a large number of sandboxes, but also start them fast.
In the tests, the NVIDIA Vera CPU reached a peak throughput of 13.3 completed agent jobs per second. More importantly, it was able to bring up 1000 sandboxes online within just 10 seconds (10.8s), and 2000 sandboxes online within 27 seconds. For comparison, AMD's EPYC "Zen 5" chip was able to bring up 1000 sandboxes online in 88 seconds. That's an 8x speedup in sandboxes online time.
Now here's where Vera's faster per-core performance matters. The baseline AMD EPYC Zen 5 chip used in the comparison was the EPYC 9755, which made 1000 sandboxes online in 88.4 seconds. The faster-frequency EPYC 9575F chip was able to do the same in 32.3 seconds.
AMD was able to drive faster performance on a faster-clocked chip, but Vera was still in the lead thanks to its per-core performance being ahead of the Zen 5 architecture. The Vera CPU is able to bring 2000 sandboxes online faster than it takes Zen 5 to get 1000 sandboxes online, a massive speed-up.
AMD has since released its Zen 6 EPYC CPUs, which should be able to offer much better results in the same Agentic AI workloads, as that is one of its stronger focus areas, but Vera is definitely a big step up for NVIDIA in the Agentic AI space versus its Grace CPUs, delivering faster-than-Zen 5 performance, and being competitive against Zen 6 chips.
- EPYC 9575F: levels off around 8 agent jobs/sec
- EPYC 9755: levels off around 11 agent jobs/sec
- NVIDIA Vera: reaches 13.3 agent jobs/sec and stays close to 13 through 2,000 sandboxes
Another interesting metric shared by Daytona is throughput per machine, which covers the number of machines required to sustain these workloads. To complete 1000 jobs per second, NVIDIA's Vera platform will require 15% fewer machines than the EPYC 9755 and 38% fewer machines than the EPYC 9575F CPU.
This adds to the TCO with Vera enabling companies to do more with fewer servers, lower power, lower cooling, and reduced costs of setting up large-scale AI factories. Or you can achieve higher throughput within the same infrastructure spending as the competition.
“The number that interests me isn't the peak. It's what happens after the machine is full. Vera keeps running agent workloads at almost the same rate all the way to 2,000 sandboxes. It slows down a little but stays stable instead of falling apart. Thousands of agents on a single machine, and Vera keeps them alive. That's what matters.”
— Vedran Jukić, Co-founder & CTO
Agents are turning infrastructure into a density problem: each one needs its own filesystem, tools, and environment, and those environments must be created by the thousands and kept productive on shared hardware.
On that measure, NVIDIA Vera stood out. It brought 1,000 Daytona sandboxes online in 10.8 seconds and 2,000 in 27.4 seconds, then sustained close to 13 completed agent jobs per second even at 2,000 concurrent sandboxes—roughly 15% fewer machines than the EPYC 9755 and about 38% fewer than the 9575F for the same volume of work.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com