모달, 인텔·AMD서 엔비디아 베라 CPU로 전환 후 성능 2배 향상…“고부하 시 베라가 더 나은 성능 발휘”
🇰🇷 한글 번역
NVIDIA의 Vera CPU는 인텔과 AMD CPU 대비 에이전틱 AI 샌드박스에서 Modal의 성능을 2배 향상시켰다.
Modal은 NVIDIA의 Vera CPU로 전환하기 위해 대규모 변경을 감수해야 했다. 이들은 이전에 x86 칩에 의존했지만, 이 전환으로 인해 2배의 성능 부스트를 얻었다.
NVIDIA Vera CPU는 에이전틱 AI 사용 사례를 위한 Arm 기반 CPU에 대한 시장의 인식을 계속 바꾸고 있다. Arm 자체는 x86 옵션 대비 자체 AGI CPU의 장점을 강조하고 있지만, NVIDIA의 옵션은 이전에 x86 칩을 실행하던 많은 기업들의 선택지로 빠르게 부상하고 있는 것으로 보인다.
Modal은 이러한 기업 중 하나로, 최근 샌프란시스코 사무실에 첫 Vera CPU 서버를 받았다. 이 회사는 지금까지 AMD 및 인텔 칩을 탑재한 x86 시스템에만 의존해 왔으므로, Arm 기반 생태계로의 전환은 인프라 및 이미지 빌드 시스템에 대한 변경을 필요로 했다.
고된 변경 작업에도 불구하고, Modal은 NVIDIA Vera로의 전환을 매우 인상적이라고 평가하며, 에이전틱 AI 샌드박스 전반에 걸쳐 AI 처리량(throughput)이 2배 증가했다고 밝혔다. 또한 이를 “매우 매력적인 옵션”이라고 칭했다.
대부분의 시스템에서 처리량과 지연 시간(latency)은 상충 관계에 있다.
- 지연 시간은 작업의 시작부터 끝까지 경과하는 시간으로 정의할 수 있다.
- 처리량은 단위 시간당 완료된 작업의 수량이다. 이는 호스트 시스템이 프로세스를 동시에 교차 실행하고 모든 작업에 동시에 진전을 시킬 수 있는 능력을 테스트한다.
작업을 더 밀집하게 배치할수록 처리량은 높아진다. 하지만 CPU가 완전히 가동되면, 경쟁으로 인해 개별 작업의 지연 시간이 악화된다.
Modal의 스케줄러 관점에서 보면, 우리가 보유한 호스트 머신에서 더 많은 성능을 끌어내고 사용자가 도달할 수 있는 절대적 스케일을 높이기 위해 더 높은 밀도로 작업을 실행하는 것은 항상 유혹적이다. 하지만 컨테이너 내 부하가 스파이크 현상을 보이는 것처럼, 우리 클러스터 내 컨테이너의 절대적 스케일 또한 스파이크 현상을 보이기 때문에, 호스트 머신을 과밀하게 배치할 위험에 처하게 된다.
NVIDIA Vera를 테스트하기 위해 Modal은 에이전틱 샌드박스를 위한 대표적 워크로드와 벤치마크 세트를 구축했다. 여기에는 50개의 Terminal-Bench 오라클 솔루션과 검증기를 호스팅하는 “Agentless Agent Bench” 개발이 포함된다. 이 벤치마크는 선형 완료 시간과 동시 처리량 수치를 모두 보여준다.
첫 번째 테스트는 x86 칩 대비 양호한 개선을 보여주었지만, 이는 부하 없이 실행되었으므로 본질적으로 순수한 직선 지연 시간 테스트였다.
부하가 걸린 상태에서 NVIDIA의 Vera CPU는 완전히 다른 존재가 된다. 처리량 측면에서 Vera는 동급 인텔 제온 “그라닛 래피즈(Granite Rapids)” 칩 대비 2배의 증가를 제공했다. 이 우위는 x86 CPU와 달리 Vera는 작업이 쌓일수록 속도가 느려지지 않고, 각 작업을 원래 속도로 빠르게 처리하기 때문이다.
Vera의 핵심 기능은 경쟁 상황에서도 견고하게 버티는 능력이다. 그 높은 메모리 대역폭은 CPU 스로틀링 없이 코어당 더 많은 컨테이너 워크로드를 밀집시켜 배치할 수 있게 해주며, 이는 벤치마크에서 Vera가 대안들을 크게 앞질러 나가는 이유를 설명해 준다.
추가적인 CPU 카운트에서 대안들은 초기 처리량 정점에 도달하는 반면, Vera는 지속적으로 개선되어, 벤치마킹을 위해 접근할 수 있었던 노드보다 더 높은 성능을 이끌어낼 수 있음을 시사한다.
x86에서 전환하기 위해 필요한 상당한 인프라 및 이미지 빌드 변경에도 불구하고, Modal의 NVIDIA Vera CPU로의 전환은 에이전틱 AI 샌드박스에서 명확한 2배 처리량 부스트를 가져왔다.
부하가 걸린 상황에서도 Vera는 높은 메모리 대역폭과 코어당 더 많은 동시 워크로드를 처리할 수 있는 능력 덕분에 인텔과 AMD CPU에서 흔히 발생하는 스로틀링(throttling) 없이 강력한 성능을 유지합니다. 그 결과, Vera는 밀집되고 경쟁이 심한 에이전트 워크로드에 대해 더 효과적으로 확장할 수 있는 매력적인 Arm 기반 옵션이 됩니다.
Wccftech의 추가 뉴스 보도를 피드에서 받아보려면 Google에서 Wccftech를 팔로우하세요.
📄 원문 (English)
NVIDIA's Vera CPUs give Modal a 2x performance uplift in Agentic AI sandboxes over Intel and AMD CPUs.
Modal Had To Make Massive Changes To Move To NVIDIA's Vera CPUs As They Previously Relied on x86 Chips, But The Shift Granted Them A 2x Boost
The NVIDIA Vera CPU continues to be changing the market perception of Arm-based CPUs for Agentic AI use cases. Arm itself has highlighted the advantages of its AGI CPUs over x86 options, but NVIDIA's option seems to be quickly becoming the choice for many firms that were previously running an x86 chip.
Modal is one such firm that recently received its first Vera CPU servers at their San Francisco offices. The company has so far relied solely on x86 systems featuring AMD & Intel chips, so the move to an Arm-based ecosystem required changes to the infrastructure & image-built systems.
Despite the painstaking changes, Modal terms the move to NVIDIA Vera as very impressive, delivering a 2x increase in AI throughput across Agentic AI sandboxes, and calling it an "incredibly compelling option".
In most systems, throughput and latency are a tradeoff.
- Latency can be defined as the time that elapses from the start to the end of a task.
- Throughput is the quantity of completed tasks per unit time. This tests the host system’s ability to concurrently interleave processes and make progress on them all simultaneously.
The more densely you pack tasks, the higher the throughput. But once the CPU becomes fully utilized, individual task latency suffers due to contention.
In terms of the Modal scheduler, it’s always tempting for us to run at a higher packing density, to squeeze more juice out of the host machines we have, and to offer a higher absolute scale that users can reach. But just as workloads are spiky within their containers, the absolute scale of the containers in our cluster is also spiky, which leaves us at the risk of overpacking host machines.
To test NVIDIA Vera, Modal built a set of representative workloads and benchmarks for agentic sandboxes. This involves the development of "Agentless Agent Bench," which hosts a collection of 50 Terminal-Bench oracle solutions and verifiers. The benchmark shows both linear completion and concurrent throughput figures.
The first tests showcased a nice improvement over x86 chips, but these were run without any load, essentially making them a pure straight-line latency test.
Under load, NVIDIA's Vera CPU becomes a completely different beast. In throughput, Vera offered a 2x increase over an equivalent Intel Xeon "Granite Rapids" chip. This lead comes from the fact that unlike x86 CPUs, Vera doesn't slow down as jobs accumulate but rather rips through each one of them at its original pace.
Vera’s killer feature is the ability to hold up under contention. Its high memory bandwidth allows for significantly more container workloads to pack per core, without CPU throttling - which explains why Vera pulls so far ahead of the alternatives in our benchmarks.
At added CPU counts, the alternatives hit early throughput plateaus, while Vera continues to improve, suggesting we could push it even further than the node we had access to for benchmarking.
Modal’s shift to NVIDIA’s Vera CPUs, despite the significant infrastructure and image-building changes needed to move from x86, delivered a clear 2× throughput boost in Agentic AI sandboxes.
Under load, Vera maintains strong performance without the throttling typical of Intel and AMD CPUs, thanks to its high memory bandwidth and ability to pack more concurrent workloads per core. The result is a compelling Arm-based option that scales more effectively for dense, contention-heavy agentic workloads.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com