TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

GPU 시스템의 고대역폭 플래시 지연시간 단축 (조지아공대, 엔비디아, 스탠포드)

SemiEngineering · 2026.11.17 08:52 · 원문 사이트
🇰🇷 한글 번역
조지아 공과대학교(Georgia Tech), 엔비디아 연구소(NVIDIA Research), 스탠포드 대학교(Stanford University)의 연구진들이 “SlipStream: 지연 시간 및 SRAM 오버헤드 완화를 통한 GPU 시스템의 HBF 지원”이라는 논문을 발표했습니다. 요약 발췌 대규모 언어 모델(LLM) 추론은 더 큰 모델과 배치 크기를 위해 점점 더 많은 메모리 용량을 요구합니다. 하이 밴드위스 플래시(HBF)는 HBM의 DRAM 다이 대신 NAND 플래시를 사용하여 비교 가능한 읽기 대역폭으로 최대 16배의 용량을 제공합니다. 그러나 HBF는 HBM의 20배에 달하는 거의 20μs의 읽기 지연 시간을 발생할 수 있으므로, 필요 시 HBF에 접근하면 추론 속도가 최대 12.8배까지 느려집니다. 기존 캐시 라인 프리페처는 이러한 지연 시간을 커버하기 위해 20배 더 많은 비행 중(tracking) 추적 상태를 필요로 합니다. H3와 같은 텐스트리밍(tensor-streaming) 설계는 커널 요구 순서가 아닌 가상 주소 순서를 따르므로 수백 메가바이트의 버퍼링이 필요합니다. 저희는 SlipStream을 제안합니다. 이는 소프트웨어-하드웨어 공동 설계된 프리페처로, 프리페칭을 수요에 의해 조절되는 프로듀서-컨슈머 파이프라인으로 전환합니다. 소프트웨어 측면에서 SlipStream은 데이터 비종속 LLM 커널의 반복 가능한 가중치 페이지 요구 순서를 프로파일링하고, 이 순서를 비차단 STAGE 명령어로 재생하는 스테이징 워프(staging warp)를 삽입합니다. 하드웨어 측면에서 스테이징 워프는 프로듀서 역할을 하고 작업 워프(work warps)는 컨슈머 역할을 합니다. 저희의 핵심 통찰력은 페이지가 HBF에서 반환될 때가 아니라 수요가 해당 페이지에 처음 접근할 때만 각 STAGE 추적 엔트리를 은퇴(retire)하는 것입니다. 이를 통해 수요가 스테이징을 조절하고 스테이징이 소비를 얼마나 앞서갈 수 있는지 제한합니다. SlipStream은 캐시 라인이 아닌 4KB 페이지를 추적하며, 페이지가 반환될 때만 버퍼 슬롯을 할당하여 버퍼 크기를 미처리 트래픽과 분리합니다. 16GB에서 800GB에 이르는 7개의 밀집(dense) 모델에 걸쳐, 40MB 스테이징 버퍼를 갖춘 SlipStream은 HBM과 유사한 지연 시간을 가진 이상적인 HBF 성능의 92.4%를 달성합니다. H3는 320MB 버퍼를 사용했음에도 불구하고 43.1%에 불과합니다. SlipStream의 버퍼 크기 설정은 HBF 지연 시간과 워크로드에 독립적입니다. H3의 20분의 1인 16MB 버퍼를 갖춘 SlipStream은 SlipStream-40MB 대비 4% 이내의 성능을 보입니다. SlipStream은 또한 전문가 혼합(Mixture-of-Experts) 모델을 지원하며, 40MB 버퍼 기준 이상적인 성능의 91.2%에 도달합니다. 기술 논문을 여기서 확인하세요. 2026년 11월. Saxena, Anish, Hritvik Taneja, Christos Kozyrakis, 그리고 Aamer Jaleel. “SlipStream: 지연 시간 및 SRAM 오버헤드 완화를 통한 GPU 시스템의 HBF 지원.” arXiv 사전 인쇄 arXiv:2611.14776 (2026). 라이선스. 태그: AI 조지아 공과대학교 GPU 하드웨어-소프트웨어 공동 설계 HBF HBM 하이 밴드위스 플래시 LLM 추론 메모리 엔비디아 프리페칭 스탠포드 대학교
📄 원문 (English)
Researchers at Georgia Tech, NVIDIA Research, and Stanford University published “SlipStream: Enabling HBF for GPU Systems by Mitigating the Latency and SRAM Overheads.” Abstract Excerpt “Large language model (LLM) inference demands ever more memory capacity for larger models and batch sizes. High-Bandwidth Flash (HBF) replaces the DRAM dies of HBM with NAND flash and provides up to 16x the capacity at comparable read bandwidth. However, HBF can incur a read latency of nearly 20μs, 20x that of HBM, so on-demand HBF accesses slow inference by up to 12.8x. Conventional cache-line prefetchers require 20x more in-flight tracking state to cover this latency. Tensor-streaming designs, such as H3, follow virtual-address order as opposed to kernel-demand order, and therefore need hundreds of megabytes of buffering. We propose SlipStream, a software-hardware co-designed prefetcher that turns prefetching into a demand-paced producer-consumer pipeline. In software, SlipStream profiles the repeatable weight-page demand order of data-independent LLM kernels and inserts a staging warp that replays this order with non-blocking STAGE instructions. In hardware, the staging warp acts as the producer and the work warps as consumers. Our key insight is to retire each STAGE tracking entry only when demand first accesses the page, as opposed to when the page returns from HBF. Demand thus paces staging and bounds how far staging leads consumption. SlipStream tracks 4 KB pages instead of cache lines and allocates buffer slots only when pages return, which decouples the buffer size from outstanding traffic. Across seven dense models spanning 16-800 GB, SlipStream with a 40 MB staging buffer achieves 92.4% of the performance of an ideal HBF with HBM-like latency. H3 achieves only 43.1%, even with a 320 MB buffer. The buffer sizing of SlipStream is independent of HBF latency and workload. SlipStream with 16 MB buffer, 20x smaller than that of H3, performs within 4% of SlipStream-40MB. SlipStream also supports Mixture-of-Experts models and reaches 91.2% of ideal performance (40 MB buffer).” Find the technical paper here. November 2026. Saxena, Anish, Hritvik Taneja, Christos Kozyrakis, and Aamer Jaleel. “SlipStream: Enabling HBF for GPU Systems by Mitigating the Latency and SRAM Overheads.” arXiv preprint arXiv:2611.14776 (2026). License. Tags: AI Georgia Tech GPUs hardware-software co-design HBF HBM High Bandwidth Flash LLM inference memory Nvidia prefetching Stanford University
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance