슈퍼마이크로, IBM·엔비디아와 KV 캐시 솔루션 출시, 추론 성능 향상 입증
🇰🇷 한글 번역
KV(키-값) 캐시 솔루션은 슈퍼마이크로 페타스케일 스토리지 서버, IBM 스토리지 스케일 소프트웨어, NVIDIA 다이나모 추론 소프트웨어 및 NVIDIA 스펙트럼-X 이더넷 스위치를 통합합니다.
성능 테스트 결과, KV 캐시 솔루션은 KV 캐시가 없는 시스템에 비해 긴 컨텍스트 윈도우의 첫 토큰 생성 시간(TTFT)을 단축하는 것으로 나타났습니다.
고객은 더 높은 GPU 활용률, 처리량 및 인프라 확장성을 통해 추론 효율성을 극적으로 개선할 수 있습니다.
캘리포니아주 산호세, 2026년 11월 5일 /PRNewswire=-- 슈퍼마이크로 인크.(NASDAQ: SMCI)는 데이터센터 빌딩 블록 솔루션®(DCBBS)을 특징으로 하는 AI, 엔터프라이즈, 스토리지 및 5G/엣지 총괄 IT 솔루션 제공업체로서, 오늘 IBM과 NVIDIA와 함께 새로운 KV 캐시 스토리지 솔루션을 발표했습니다. 이 공동 솔루션은 AMD EPYC 9005 시리즈 프로세서("터린")를 탑재한 슈퍼마이크로 페타스케일 올플래시 스토리지 서버, IBM 스토리지 스케일 소프트웨어, NVIDIA 다이나모 추론 프레임워크 소프트웨어 및 스펙트럼-X 이더넷 네트워킹을 통합합니다.
이러한 기술들을 함께 활용하면 AI 모델이 응답 생성을 시작하는 데 걸리는 시간을 극적으로 줄일 수 있으며, 이는 기업들이 에이전트형 및 긴 컨텍스트 AI 워크플로우를 채택함에 있어 중요한 이점입니다. 로컬 GPU 메모리를 넘어선 KV 캐시 용량 확장은 GPU 활용률과 추론 처리량을 개선할 수 있으며, KV 캐시 콘텐츠의 높은 가용성과 KV 캐시 용량의 중단 없는 확장을 가능하게 합니다. 그 결과, 더 빠르고 반응성이 뛰어난 AI 경험을 제공하는 더 확장 가능하고 탄력적인 추론 아키텍처가 실현됩니다.
"AI 워크로드가 훈련에서 추론으로 확장됨에 따라, 에이전트 AI와 긴 컨텍스트, 다중 턴 생성형 AI의 특징인 높은 처리량 추론 워크로드를 배포하는 기업과 네오클라우드(neoclouds)는 GPU 효율성을 높이기 위해 병목 현상을 제거해야 합니다."라고 슈퍼마이크로의 회장兼 최고경영자(CEO)인 찰스 리앙은 말했습니다. "우리의 IBM과 NVIDIA와의 솔루션은 이러한 성능 이점을 명확히 보여줍니다."
이 발표에 대한 비디오 리캡을 보려면 여기를 클릭하십시오.
추론 워크로드는 프리필(prefill)과 디코드(decode)의 두 단계로 구성됩니다. 프리필 단계에서는 입력 텍스트가 토큰으로 변환되고 LLM(대형 언어 모델)에 의해 처리되어 추론에 필요한 중간 키-값(KV) 상태를 생성합니다. 이전에 계산된 KV 상태를 영구 KV 캐시에 저장함으로써 시스템은 후속 요청에 대해 동일한 컨텍스트를 다시 계산하는 대신 이를 재사용할 수 있습니다. 에이전트 워크플로우, 코딩 어시스턴트, 긴 컨텍스트 RAG(검색 증강 생성), 멀티모달 AI 및 다중 턴 애플리케이션은 대규모 코드베이스, 문서, 대화, 이미지 및 기타 컨텍스트를 처리하면서 상당한 KV 상태를 생성하며, 이는 빠르게 GPU 및 CPU 메모리를 초과하여 KV 캐시를 대용량 공유 네트워크 스토리지로 오프로딩할 필요성을 야기합니다.
📄 원문 (English)
- The KV (key-value) cache solution integrates Supermicro Petascale storage servers, IBM Storage Scale software, NVIDIA Dynamo inference software, and NVIDIA Spectrum-X Ethernet switches
- Performance testing shows that the KV cache solution reduces Time-to-First-Token (TTFT) for long-context windows compared to systems with no KV cache
- Customers can dramatically improve inference efficiency through higher GPU utilization, throughput, and infrastructure scalability
SAN JOSE, Calif., Nov. 5, 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), an AI, Enterprise, Storage, and 5G/Edge Total IT Solution Provider featuring Data Center Building Block Solutions® (DCBBS), today announced a new KV cache storage solution with IBM and NVIDIA. The joint solution integrates Supermicro Petascale all-flash storage servers using AMD EPYC 9005 Series processors ("Turin"), IBM Storage Scale software, along with NVIDIA Dynamo inference framework software and Spectrum-X Ethernet networking.
Together, these technologies can dramatically reduce the time it takes AI models to begin generating a response, a critical advantage as enterprises adopt agentic and long-context AI workflows. Extending KV cache capacity beyond local GPU memory can improve GPU utilization and inference throughput, while enabling high availability of KV cache content and non-disruptive scaling of KV cache capacity. The result is a more scalable, resilient inference architecture that delivers faster, more responsive AI experiences.
"As AI workloads expand from training to inference, enterprises and neoclouds deploying high-throughput inference workloads characteristic of agentic AI and long-context, multi-turn generative AI need to remove bottlenecks to improve GPU efficiency," said Charles Liang, president and CEO of Supermicro. "Our solution with IBM and NVIDIA clearly demonstrates these performance benefits."
For a video recap of this release, click here.
Inference workloads consist of two phases: prefill and decode. During prefill, input text is converted into tokens and processed by the LLM to generate the intermediate key-value (KV) states needed for inference. By storing these previously computed KV states in a persistent KV cache, the system can reuse them instead of recomputing the same context for subsequent requests. Agentic workflows, coding assistants, long-context RAG, multimodal AI, and multi-turn applications can generate substantial KV state as they process large codebases, documents, conversations, images, and other context, quickly exceeding GPU and CPU memory and driving the need to offload KV cache to high-capacity, shared network storage.
▶ 칩 라이브 24 홈으로 — chiplive24.com