추론 인프라 평가 지표로 GPU 활용도 문제 제기하는 신연구 등장
🇰🇷 한글 번역
새로운 NAND Research 보고서는 바쁜 GPU가 생산적인 산출의 정확한 척도가 아님을 강조하며, 유용한 작업의 제공량을 기준으로 추론 인프라를 측정하는 새로운 ‘추론 경제성 점수판(Inference Economics Scorecard)’을 소개했다. 이는 Nebius와 NVIDIA HGX B300 GPU, WEKA NeuralMesh를 활용한 8시간 벤치마크에 적용되었다.
시카고, 2026년 11월 16일 /PRNewswire= -- 슈퍼컴퓨팅 2026에서 AI 데이터 및 메모리 인프라 기업인 WEKA는 시장 정보 기업인 NAND Research와 협력하여 추론 인프라의 생산성과 경제적 가치를 GPU를 얼마나 바쁘게 유지하는지가 아니라, 제공되는 유용한 작업의 양을 기준으로 측정하는 새로운 공통 프레임워크인 ‘추론 경제성 점수판’을 오늘 발표했다. 이 점수판은 와트당 토큰 수, 추론당 비용, 컨텍스트 유지력 등 9가지 측정 항목을 정의한다. 또한 최소 8시간 동안 실행하고 성공적인 출력만 계산하는 등 4가지 테스트 규칙을 설정한다. 이미 AI 클라우드 기업인 Nebius와의 벤치마크에 적용된 이 점수판은 추론이 AI 인프라 지출에서 점점 더 큰 비중을 차지하고 구매자들이 전력, 메모리, 랙 공간의 한계에 부딪힌 시점에 등장했다.
구매자들은 이미 추론을 다르게 대우하고 있다: 새로운 연구 결과
S&P Global의 451 Research가 실시한 새로운 연구에 따르면 조직들은 이미 적응하고 있으며, 추론이 2026년 AI 인프라 지출의 34%에서 2030년까지 46%로 성장할 것으로 전망했다. 또한 추론을 실행하는 조직의 41%가 나머지 IT 스택과는 근본적으로 다른 인프라를 추론용으로 구매한다는 사실을 발견했다.
S&P Global의 451 Research 수석 애널리스트인 그렉 매카티는 “추론은 AI의 가치가 최종적으로 실현되는 곳이며, 우리의 연구는 조직들이 인프라를 구매하는 방식을 재편하고 있음을 보여준다”라고 말했다. “에이전트는 토큰 볼륨의 지수적 성장을 주도하고 있으며, 메모리, 전력, 공급의 제약은 조직이 단순히 GPU를 더 많이 추가함으로써 추종할 수 있다는 개념에 큰 도전을 제기한다.”
왜 GPU 활용도는 추론에 있어 부족할 수밖에 없는가
수년간 훈련은 지배적인 AI 워크로드였다. 훈련은 GPU를 대규모이고 예측 가능한 작업으로 바쁘게 유지하므로, GPU 활용도는 AI 인프라 생산성의 기본 측정 기준으로 자리 잡았다. 반면 추론, 특히 에이전트 추론은 GPU에 매우 다른 요구사항을 부과한다. 에이전트는 단순히 프롬프트에 답하는 것이 아니라, 여러 단계에 걸쳐 작업을 완료한다. 각 단계에서 에이전트는 이전에 구축한 컨텍스트를 다시 읽어야 한다. GPU가 다른 사용자와 세션을 위해 메모리에서 해당 컨텍스트를 제거하면, 작업이 다시 돌아왔을 때 이를 다시 계산해야 하며, 그 작업이 완료될 때까지는 더 이상 진행되지 않는다. 그 결과, GPU는 완전히 활용되고 있지만 생산적이지 않은 상태가 된다. 이는 동일한 토큰을 여러 번 다시 계산하는 데 사이클을 낭비하기 때문이다.
📄 원문 (English)
New NAND Research report underscores that busy GPUs aren't an accurate measure of productive output; introduces new Inference Economics Scorecard to measure inference infrastructure by the useful work it delivers, as applied in an eight-hour benchmark with Nebius on NVIDIA HGX B300 GPUs and WEKA NeuralMesh.
CHICAGO, Nov. 16, 2026 /PRNewswire/ -- From Supercomputing 2026: WEKA, the AI data and memory infrastructure company, in collaboration with market intelligence firm NAND Research, today introduced the Inference Economics Scorecard, a new common framework for measuring inference infrastructure productivity and economic value by the useful work it delivers rather than by how busy it keeps GPUs. The scorecard defines nine measures, including tokens per watt, cost per inference, and context retention. It sets four testing rules, including runs of at least eight hours and counting only successful output. Already applied in a benchmark with Nebius, the AI cloud company, it comes as inference is claiming a growing share of AI infrastructure spending and buyers hit power, memory, and rack-space limits.
Buyers Are Already Treating Inference Differently, New Research Finds
New research from 451 Research by S&P Global shows organizations are already adapting, projecting that inference will grow from 34% of AI infrastructure spending in 2026 to 46% by 2030 and finding that 41% of organizations running inference buy fundamentally different infrastructure for it than for the rest of their IT stack.
"Inference is where the value of AI is ultimately realized, and our research shows it's reshaping how organizations buy infrastructure," said Greg Macatee, Senior Analyst at 451 Research by S&P Global. "Agents are driving exponential growth in token volume; memory, power, and supply constraints greatly challenge the notion that organizations can keep up simply by adding more GPUs."
Why GPU Utilization Falls Short for Inference
For years, training was the dominant AI workload. Because training keeps GPUs busy with large, predictable jobs, GPU utilization became the default measure of AI infrastructure productivity. Inference, especially agentic inference, places very different demands on GPUs. An agent does not simply answer a prompt; it completes a task over many steps, and at each step it re-reads the context it built earlier. After the GPU evicts that context from memory to make room for other users and sessions, it must recompute it when the task returns, and the task makes no further progress until that work is done. The result is a GPU that is fully utilized but unproductive because it wastes cycles recomputing the same tokens multiple times.
▶ 칩 라이브 24 홈으로 — chiplive24.com