엔비디아-구로크, 차세대 LPU를 SRAM에서 3D 적층 DRAM으로 전환, 모델 성장에 따른 용량 확보에 베팅
🇰🇷 한글 번역
NVIDIA의 인수를 받은 기업 그록(Groq)이 3D 적층 DRAM 기술을 활용해次世代 메모리 칩을 생산할 계획인 것으로 알려졌다.
次世代 칩에 3D 적층 DRAM 메모리 기술 도입을 목표로 하며, 용량 증대를 통해 속도보다 용량을 우선시
올초 NVIDIA는 Vera Rubin 생태계의 일부로 추론 성능을 향상시키기 위한 그록 LPX 랙을 발표했다. LPX 랙은 지난 8월 양산에 돌입했으며, NVL72 서버와 결합했을 때 초당 3,400개의 토큰을 처리하는 기록적인 성능을 보여주는 초기 결과를 공개했다.
현재 세대의 그록 LPU는 500MB의 SRAM을 탑재해 초당 150TB의 놀라운 대역폭 속도를 달성하며, 랙은 이러한 칩 256개로 구성되어 총 128GB의 SRAM 용량과 640TB의 스케일업 대역폭을 제공한다. 개별적으로 각 그록 LPU는 1.20 PFLOPs의 FP8 연산 성능을 달성한다.
이제次世代를 위해 그록은 약간의 다른 접근 방식을 모색하고 있다. 회사는 SRAM 대신 DRAM 기술을 활용하고 이를 3DS(3D Stacked) 솔루션과 결합할 계획이다. DRAM은 더 높은 용량을 제공하지만 대역폭 속도와는 타협해야 한다.
한 반도체 업계 관계자는 "그록은次世代 칩에 3D 패키징을 도입할 계획"이라며 "이는 기존 SRAM 대신 DRAM을 적층하는 것을 포함한다"고 밝혔다. 업계는 그록의 이동을 칩 용량을 크게 증가시키려는 의도로 해석한다. SRAM은 빠르지만 용량이 제한적인 반면, DRAM은 상대적으로 느리지만 대규모 용량 구현에 유리하다.
3D 적층 기술을 통해 그록은 TSV(실리콘 관통 전극)로 연결된 단일 수직 칩 내에 여러 DRAM 레이어를 적층할 수 있다. 이는 오늘날 HBM DRAM이 설계되는 방식과 유사하다. 3D 적층은 기존 DRAM 패키지에 비해 표면적을 줄이고 전력 효율성을 높일 수 있게 한다.
그록의 주요 초점은 이번에는 메모리 용량에 맞춰져 있으며, SRAM 전용 칩에서 보였던 높은 대역폭 속도의 일부 측면은 유지할 것으로 보인다. 모델이 계속 성장함에 따라 최신 그록 칩은 AI 팩토리와 AI 플랫폼을 강화하기 위해 이를 사용해 온 NVIDIA와 같은 기업들로부터 더 큰 압박을 받을 가능성이 있다. 또한 그록은 DRAM 및 SRAM 칩을 서로 분리하여 제공할 예정이며, 이는 업계가 각자의 필요에 맞는 솔루션을 선택할 수 있도록 하는 것이다.
더 많은 뉴스 커버리지를 피드에서 받아보려면 Wccftech를 Google에서 팔로우하세요.
📄 원문 (English)
NVIDIA-acquired firm Groq is reportedly planning to produce next-gen memory chips using 3D stacked DRAM technology.
Groq Aims To Roll Out 3D Stacked DRAM Memory Technology In Next-Gen Chips, Pushing Capacity Over Speed
Earlier this year, NVIDIA announced Groq LPX racks, which are part of the Vera Rubin ecosystem to boost inference performance. The LPX racks entered full production back in August, and early results showcase a record 3,400 Tokens Per Second of performance when coupled with NVL72 servers.
The current generation of Groq LPUs packs 500 MB of SRAM, achieving a blistering-fast bandwidth rate of 150 TB/s while the racks are configured with 256 of these chips, bringing about 128 GB of SRAM capacity and 640 TB/s of scale-up bandwidth. Individually, each Groq LPU achieves 1.20 PFLOPs FP8 compute.
Now for the next-generation, Groq is looking to do things a bit differently. Instead of using SRAM, the company is going to harness DRAM technology and combine it in a 3DS (3D Stacked) solution. DRAM does offer higher capacities but trades off bandwidth speeds.
A semiconductor industry insider stated, 'Groq plans to introduce 3D packaging to its next-generation chips,' adding, 'It involves stacking DRAM rather than existing SRAM.' The industry interprets Groq's move as an intention to significantly increase chip capacity. SRAM is fast but has limited capacity, whereas DRAM is relatively slower but advantageous for implementing large capacities.
With 3D Stacked technology, Groq will be able to stack multiple DRAM layers in a single vertical chip, connected using TSVs (Through-Silicon-Vias). This is similar to how HBM DRAM is designed today. 3D stacking will enable reduced surface area and increased power efficiency compared to traditional DRAM packages.
Groq's main focus seems to be on the memory capacity this time while retaining some aspects of the high bandwidth speeds it had on its SRAM-only chips. As models continue to grow, the latest Groq chips might see a bigger push from the likes of NVIDIA, which have been using them to boost their AI factories and AI platforms. There is also a hint that Groq will keep its DRAM & SRAM chips separate from one another, offering the industry a solution for what they seem fit.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com