모든 바이트에서 더 많은 성능: 풀스택 코드esign이 AI의 메모리 과제를 해결하는 방법
🇰🇷 한글 번역
더 큰 모델, 긴 컨텍스트, 그리고 에이전틱 애플리케이션이 GPU 메모리 부하를 증가시키고 있는 가운데, 공급은 긴박해지고 가격은 상승하고 있다. 이러한 추세는 단기적으로 계속될 것으로 예상된다.
엔비디아는 메모리 파트너와 긴밀히 협력하여 최신 메모리 기술을 빠르게 채택하고 있다. 엔비디아는 가속화 컴퓨팅 스택에 HBM3e와 HBM4 기술을 최초로 채택한 기업이다.
그러나 접근 방식은 단순히 GPU에 더 많은 메모리를 탑재하는 것이 아니다. 이는 풀스택 코드esign(공동 설계)이다. 엔비디아는 AI 팩토리의 모든 계층에서 메모리로부터 더 많은 유용한 작업을 수행할 수 있도록 GPU, CPU, 네트워킹, 스토리지 및 소프트웨어를 의도적으로 함께 설계한다.
이것이 중요한 이유는 AI 팩토리가 메모리 및 스토리지 계층 구조 위에서 작동하기 때문이다. GPU의 고대역폭 메모리(HBM)는 가장 빠르고, 가장 비싸며, 가장 치열하게 경쟁하는 계층이다. 여기서는 모델 가중치와 KV 캐시가 제한된 용량을 두고 경쟁한다. 그 아래에는 CPU 메모리, 로컬 SSD 및 공유 스토리지가 위치해 있으며, 각각은 비트당 비용이 더 낮은 대신 더 많은 용량을 제공하기 위해 속도를 타협한다.
바이트당 유용한 작업의 양은 전체 계층 구조가 얼마나 잘 활용되는지에 달려 있다. 즉, 저장해야 할 데이터를 축소하고, 올바른 계층에 배치하며, 필요하기 전에 GPU로 다시 가져오는 것이다.
엔비디아는 바이트 단위로 모든 계층에서 메모리를 가장 효율적으로 활용하며, 그 결과가 나타나고 있다. 엔비디아 블랙웰 울트라부터 베라 루빈 플랫폼에 이르기까지 GPU당 HBM 용량은 약 3% 증가한 반면, SemiAnalysis AgentX 기준 달러당 에이전틱 처리량은 최대 30배 증가했다.
에이전틱 추론이 HBM에 더 큰 압력을 가하고 있다
최첨단 모델은 이제 수조 개의 파라미터를 보유하고 있다. 이는 AI 모델이 학습 과정에서 습득한 내용을 담고 있는 값들이다.
KV 캐시는 동일한 정보를 다시 처리하지 않고도 각 활성 요청을 이해하는 데 필요한 컨텍스트를 보유하므로, 역시 확장되고 있다. 에이전틱 트래젝토리는 반복적인 모델 및 도구 호출을 통해 이전 컨텍스트를 전달하며, 일부 경우에는 최대 300만 개의 토큰을 처리하므로 각 요청의 작업 메모리는 시간이 지남에 따라 증가한다.
검색 증강 생성(RAG)은 프롬프트에 관련 기업 정보를 추가하여 처리하고 유지해야 할 컨텍스트를 더욱 증가시킨다.
추론 동안 HBM은 주로 모델 파라미터와 KV 캐시를 모두 보유한다. 그 결과: HBM에 더 큰 압력이 발생한다.
왜 AI 팩토리는 메모리 계층 구조가 필요한가?
GPU당 HBM 용량을 늘리는 것이 그 압력에 대한 명백한 대응책이지만, 용량은 대역폭이 이동시킬 수 있는 것만큼만 제공한다.
HBM을 창고로, 메모리 대역폭을 그 하역장으로 생각해보자. 더 큰 창고는 더 많은 재고를 보관할 수 있지만, 하역장은 한 번에 이동할 수 있는 양을 결정한다. 하역장이 포화 상태에 도달하면 더 많은 재고를 이동하는 데 더 많은 시간이 걸리고 응답 시간이 느려진다. 지연 시간이 필요한 서비스 수준을 초과하면, 추가 비용이 발생하고 전력을 소모함에도 불구하고 추가된 공간을 효과적으로 사용할 수 없다.
또한 어떤 운영도 모든 재고를 가장 가깝고 빠른 공간에 보관하지 않는다. 움직이는 재고는 라인 근처에 머물고, 기다리는 재고는 근처의 더 크고 저렴한 공간으로 이동하여 필요하기 전에 다시 돌아온다.
AI 팩토리도 동일한 한계에 직면해 있다.
더 많은 HBM은 더 많은 KV 캐시를 수용하고 더 많은 동시 사용자를 지원할 수 있다. 추가되는 모든 사용자는 동일한 컴퓨팅 성능과 메모리 대역폭을 공유한다. 그러나 각 사용자가 빠른 응답을 기대할 때, 결국 메모리 대역폭은 컴퓨팅이 데이터를 사용할 수 있는 속도만큼 데이터를 공급하지 못하게 된다. 엔지니어들이 이를 '메모리 월'이라고 부르는 한계이다.
그 지점을 넘어서면 추가적인 HBM 용량은 실제 작업에 활용될 수 없지만, 여전히 비용은 증가하고 전력 소모도 커진다. 데이터는 여전히 저장될 공간이 필요하지만, 모든 데이터가 가장 빠르고 비싼 계층에 있을 필요는 없다. 이것이 AI 팩토리가 메모리 및 스토리지 계층 전반에 걸쳐 데이터를 관리하는 이유다.
모든 바이트의 가치를 극대화하는 풀스택 코드esign
NVIDIA의 풀스택 코드esign은 모델 가중치, KV 캐시, RAG 데이터에 대한 부담을 줄임으로써 HBM의 모든 바이트가 의미 있게 활용되도록 한다. 이는 각각 비효율성의 다른 원인을 타겟팅하는 기법들을 통해 이루어진다.
모델 가중치를 축소하고 NVL72 도메인 전반에 분산한다.
- NVFP4 포맷은 NVIDIA 호퍼 플랫폼에서 가능한 최저 정밀도인 FP8에 비해 가중치에 필요한 공간을 줄인다. Black Forest Labs의 FLUX.2 [klein], Thinking Machines Lab의 Inkling, Reflection의 Beam 1.0, Meta의 Meta Muse Spark, StepFun의 Step 5 Preview, NVIDIA Nemotron 3.5 Super VL을 포함한 최근 모델들은 NVFP4 체크포인트로 출시되었으며, 이는 더 빠르고 메모리 효율적인 추론을 위해 4비트 정밀도의 채택이 확대되고 있음을 보여준다.
- NVL72 시스템 내에서 모델 가중치는 최대 72개의 GPU에 분산될 수 있으므로, 각 GPU는 모델의 더 작은 부분을 보유하게 되어 KV 캐시와 동시 사용자 처리를 위해 더 많은 HBM을 확보할 수 있다.
KV 캐시를 축소하고 비활성 컨텍스트를 저비용 스토리지 계층으로 오프로드한다.
- NVFP4를 KV 캐시에 적용하면 FP8에 비해 그 크기가 줄어들어 더 많은 컨텍스트를 HBM에 상주시킬 수 있다.
- NVIDIA Vera CPU는 두 가지 방식으로 도움을 준다. 빠른 도구 실행은 도구 호출 중 KV 캐시가 비활성 상태로 머무는 시간을 단축시키며, NVIDIA NVLink-C2C 인터커넥트를 통해 NVIDIA 루빈 GPU에 연결된 대규모 LPDDR 메모리는 일시 중단된 컨텍스트가 근처에서 대기하고 빠르게 복귀할 수 있는 장소를 제공한다.
- 컨텍스트가 활발히 사용되지 않을 때, NVIDIA Dynamo 추론 소프트웨어는 이를 NVIDIA CMX 컨텍스트 메모리 스토리지로 이동시킨다. 이는 HBM에 비해 비트당 비용이 훨씬 낮아 용량 중심의 계층으로 구축되었으며, 재사용 전에 데이터를 반환한다. 로컬 SSD와 달리 CMX는 서버 전반에 공유되며, 엔터프라이즈 스토리지와 달리 단기적인 컨텍스트가 필요로 하지 않는 장기 데이터 보호의 오버헤드를 생략한다. NVIDIA CMX 컨텍스트 메모리 스토리지 파트너에는 Cloudian, DDN, Dell Technologies, Everpure(구 Pure Storage), HPE, IBM, NetApp, VAST, WEKA가 포함된다.
- Dynamo의 KV 캐시 재사용 기능은 이 계층들을 하나로 묶어, GPU 메모리, CPU 메모리, 스토리지 전반에 걸쳐 KV 캐시를 시스템 전체의 단일 리소스로 관리한다. 이를 통해 한 번 계산된 컨텍스트는 시스템 전반에서 재사용될 수 있다.
RAG 임베딩을 압축하고 인덱스를 HBM 외부에 유지한다.
- RAG는 엔터프라이즈 문서를 임베딩(의미 기반 검색을 가능하게 하는 수치적 표현)으로 변환하여 검색 가능한 인덱스를 구성한다. NVIDIA Nemotron Retriever 모델은 더 작은 임베딩과 높은 검색 정확도를 생성하며, NVIDIA cuVS 라이브러리는 이 인덱스를 CPU와 스토리지 전반에 걸쳐 구축하고提供服务할 수 있게 한다. 지식 베이스는 HBM을 차지하지 않으며, 모델이 필요로 하는 구절들만 컨텍스트에 포함된다.
그 결과 모델 가중치에 사용되는 HBM이 줄어들고, 유휴 컨텍스트에 묶이는 HBM도 감소하여 동시 사용자를 서비스하기 위해 더 많은 HBM을 활용할 수 있게 된다.
세대가 거듭될수록 달러당 더 유용한 출력
연속적인 NVIDIA 플랫폼 세대 전반에 걸쳐, 달러당 초당 토큰 수는 HBM 용량보다 훨씬 빠르게 증가했다.
SemiAnalysis의 AgentX DeepSeek V4 Pro 워크로드에서 NVIDIA GB300 NVL72는 사용자당 초당 100개의 토큰 처리 시, NVIDIA H200 플랫폼 대비 달러당 처리량이 최대 10배 높으며, GPU당 HBM 용량은 약 두 배 증가합니다. 사용자당 초당 125개의 토큰 처리 시, Vera Rubin NVL72는 GB300 NVL72 대비 달러당 처리량이 최대 30배 높으며, GPU당 HBM 용량은 약 3% 증가합니다.
AI 팩토리 운영자에게 중요한 지표는 전력 예산 내에서 사용자 응답 시간 요구사항을 충족하면서 팩토리가 제공할 수 있는 유용한 토큰의 수입니다. 와트당 더 많은 토큰을 처리할수록 동일한 전력으로 더 많은 작업과 수익을 창출할 수 있으며, 토큰당 비용은 낮아집니다. NVIDIA의 풀스택 코드esign은 메모리 바이트당 제공하는 유용한 작업을 증가시켜 토큰 비용을 절감합니다.
NVIDIA 풀스택 코드esign이 추론 메모리 부담을 어떻게 줄이는지에 대한 비디오 설명과 기술 심층 분석을 통해 더 자세히 알아보세요.
📄 원문 (English)
Larger models, longer contexts and agentic applications are increasing GPU memory pressure while supply tightens and prices rise — a trend expected to continue through the near term.
NVIDIA works closely with memory partners to rapidly adopt the latest memory technologies. NVIDIA was first to adopt HBM3e and HBM4 technologies into an accelerated computing stack.
But the approach isn’t to simply pack more memory onto the GPU. It’s full-stack codesign. NVIDIA intentionally designs GPUs, CPUs, networking, storage and software together to get more useful work out of memory at every layer of the AI factory.
That matters because an AI factory runs on a memory and storage hierarchy. GPU high-bandwidth memory (HBM) is the fastest, most expensive and most contested tier — with model weights and KV cache competing for limited capacity. Below it sit CPU memory, local SSDs and shared storage, each trading speed for more capacity at a lower cost per bit.
How much useful work a byte does depends on how well the whole hierarchy is used: shrinking what must be stored, placing it on the right tier and bringing it back to the GPU before it’s needed.
Byte for byte, NVIDIA makes the most efficient use of memory at every layer — and the results show it. From NVIDIA Blackwell Ultra to the Vera Rubin platform, HBM capacity per GPU rose roughly 3%, while agentic throughput per dollar rose by up to 30x on SemiAnalysis AgentX.
Agentic Inference Is Putting More Pressure on HBM
Frontier models now have trillions of parameters — the values that hold what an AI model learned in training.
KV cache, which holds the context the model needs to understand each active request without reprocessing the same information, is also expanding. Agentic trajectories carry prior context across repeated model and tool calls, in some cases processing up to 3 million tokens, so each request’s working memory grows over time.
Retrieval-augmented generation (RAG) adds relevant enterprise information to prompts, creating even more context to process and retain.
During inference, HBM primarily holds both model parameters and KV cache. The result: greater pressure on HBM.
Why AI Factories Need a Memory Hierarchy
Adding more HBM capacity per GPU is the obvious response to that pressure, but capacity delivers only what bandwidth can move.
Think of HBM as a warehouse and memory bandwidth as its loading docks. A larger warehouse holds more inventory, but the docks set how much can move in and out at a time. Once the docks are at capacity, moving more inventory takes longer and slows response times. If delays exceed the required service level, the added space can’t be used effectively, even as it adds cost and draws power.
That’s also why no operation keeps all its inventory in the closest, fastest space. What’s in motion stays near the line. What’s waiting moves to a larger, cheaper space nearby and returns before it’s needed.
An AI factory faces the same limit.
More HBM can hold more KV cache and support more concurrent users. Every added user shares the same compute and memory bandwidth. But when each user expects fast responses, eventually memory bandwidth is unable to supply data as fast as compute can use it: a limit engineers call the memory wall.
Past that point, extra HBM capacity can’t be put to work, yet it still adds costs and draws power. The data still needs a place to live, but not all of it needs the fastest, most expensive tier. This is why an AI factory manages data across a memory and storage hierarchy.
Maximizing the Value of Every Byte With Full-Stack Codesign
NVIDIA’s full-stack codesign makes every byte of HBM count by relieving pressure from model weights, KV cache and RAG data. It does this with techniques that each target a different source of inefficiency:
Shrink model weights and distribute them across the NVL72 domain.
- The NVFP4 format reduces the space required for weights compared to FP8, the lowest precision possible on the NVIDIA Hopper platform. Recent models, including FLUX.2 [klein] from Black Forest Labs, Inkling from Thinking Machines Lab, Beam 1.0 from Reflection, Meta Muse Spark from Meta, Step 5 Preview from StepFun and NVIDIA Nemotron 3.5 Super VL have been released with NVFP4 checkpoints, demonstrating growing model-builder adoption of 4-bit precision for faster, more memory-efficient inference.
- Within an NVL72 system, model weights can be distributed across up to 72 GPUs, so each GPU holds a smaller share of the model — leaving more HBM for KV cache and concurrent users.
Shrink KV-cache and offload inactive context to lower-cost storage tiers.
- Applying NVFP4 to the KV cache reduces its footprint compared with FP8, so more context can stay resident in HBM.
- NVIDIA Vera CPU helps in two ways. Faster tool execution shortens the time KV cache sits inactive during tool calls, and its large LPDDR memory, connected to NVIDIA Rubin GPUs over NVIDIA NVLink-C2C interconnect, gives paused context a nearby place to wait and return quickly.
- When context isn’t actively in use, NVIDIA Dynamo inference software moves it to NVIDIA CMX context memory storage — a tier built for capacity at far lower cost per bit than HBM — and returns it before reuse. Unlike local SSDs, CMX is shared across servers, and unlike enterprise storage, it skips the overhead of long-term data protection that short-lived context doesn’t need. NVIDIA CMX context memory storage partners include Cloudian, DDN, Dell Technologies, Everpure (previously Pure Storage), HPE, IBM, NetApp, VAST and WEKA.
- Dynamo’s KV Cache Reuse ties the tiers together, managing KV cache as one system-wide resource across GPU memory, CPU memory and storage, so context computed once can be reused across the system.
Compact RAG embeddings and keeping the index outside HBM.
- RAG turns enterprise documents into embeddings — numerical representations that let a system search by meaning rather than keyword — organized into a searchable index. NVIDIA Nemotron Retriever models produce smaller embeddings with higher retrieval accuracy, while the NVIDIA cuVS library enables that index to be built and served across CPU and storage. The knowledge base never occupies HBM, and only the passages the model needs enter context.
The result is less HBM used for model weights, less HBM tied up by idle context and more of it available to serve concurrent users.
More Useful Output per Dollar With Each Generation
Across successive NVIDIA platform generations, tokens per second per dollar has risen far faster than HBM capacity.
On the SemiAnalysis AgentX DeepSeek V4 Pro workload, NVIDIA GB300 NVL72 delivers up to 10x higher throughput per dollar than NVIDIA H200 platform at 100 tokens per second per user, with HBM capacity per GPU roughly doubling. At 125 tokens per second per user, Vera Rubin NVL72 delivers up to 30x higher throughput per dollar than GB300 NVL72, with HBM capacity per GPU up about 3%.
For AI factory operators, the metric that matters is how many useful tokens the factory can deliver within its power budget while meeting user response-time needs. More tokens per second per watt means more work and revenue from the same power, and a lower cost for every token. NVIDIA’s full-stack codesign lowers token costs by increasing the useful work every byte of memory delivers.
Learn more in the video explainer and technical deep dive on how NVIDIA full-stack codesign reduces inference memory pressure.
▶ 칩 라이브 24 홈으로 — chiplive24.com