퀄컴, AI 추론용 메모리 병목 해결을 위한 HBC 실리콘 개발…첫 데이터센터 제품 이미 테이프아웃 완료
🇰🇷 한글 번역
퀄컴은 샌디에고 연구소에서 자체 개발한 첫 세대 고대역폭 컴퓨팅(HBC) 실리콘의 검증이 완료되었다고 발표했으며, 이는 AI 추론을 위한 메모리 설계에 대한 초기 하드웨어 증거를 제시한 것이다. 이 칩은 산업 표준 자동 테스트 장비를 사용하여 무작위 가중치와 활성화 데이터를 적용하고, 생산 환경과 유사한 치수에서 전체 메모리 읽기-쓰기 경로와 근접 메모리 연산을 실행한 것으로 보인다.
칩셋 제조업체의 드래곤플라이 AI250은 2027년 상반기에 샘플링될 것으로 예상된다.
목표는 메모리 대역폭이며, 퀄컴은 생성된 모든 토큰마다 모델 데이터를 연산 유닛에 공급해야 하기 때문에 대규모 언어 모델(LLM) 추론의 핵심 제약 사항이라고 설명한다. 데이터 센터 규모로 운영할 때 이러한 데이터 이동의 에너지와 지연 시간은 처리량, 전력 소비 및 총 소유 비용에 영향을 미친다. HBC는 데이터 이동을 줄이고 유효 대역폭을 높이기 위해 연산을 메모리 근처에 배치하여 이 문제를 해결하려는 것이다.
퀄컴의 HBC 설계는 웨이퍼 투 웨이퍼 본딩을 사용하여 저전력 LPDDR 다이(active AI 가속기 베이스 다이 위에 적층)를 사용함으로써 데이터가 이동하는 거리를 밀리미터에서 마이크로미터 수준으로 줄였다. 핫하드웨어(HotHardware)의 보도에 따르면, 이 접근 방식은 LPDDR5X 대비 유효 메모리 대역폭을 18배 증가시키고, 예상되는 HBM4 사양 대비 와트당 대역폭은 5배 이상 향상시켰다.
그러나 효율성 개선 폭은 퀄컴이 이전에 제시했던 6배 기준치보다 약간 낮게 나타났다. 샌디에고 소재 기업의 각주에 따르면, 이 수치는 측정된 실리콘 결과를 목표 운영 조건으로 정규화하고 공개된 경쟁 제품 사양과 비교하여 추정한 것이며, 최종 성능은 구현 방식, 워크로드 및 시스템 구성에 따라 달라질 수 있다고 밝혔다.
퀄컴은 아키텍처, 공정 개발, 테스트 차량, 실리콘 검증 및 제품 통합을 아우르는 단계별 프로그램을 설명하며, 웨이퍼 투 웨이퍼 본딩을 자격 인증하기 위해 파운드리 및 조립 파트너와 협력했다고 밝혔다. 적층된 레이어의 결함을 해결하기 위해 이 설계에는 중복성 및 재매핑 기능이 포함되어 있어 결함이 있는 메모리를 우회하여 작동할 수 있다. 또한 칩셋 제조업체는 DRAM을 로직에 직접 본딩하는 상용화 사례와 JEDEC LPDDR 표준 제정에 기여하는 등 10년 이상에 걸친 메모온로직(memory-on-logic) 노하우를 보유하고 있다고 강조했다.
퀄컴의 상업용 제품은 기존 2층에서 4층 DRAM 스택을 채택할 것으로 예상된다. 제품에 관해 말하자면, 드래곤플라이 AI250은 2027년 상반기에 샘플링될 예정이며 퀄컴의 드래곤플라이 랙(Rack) 추론 인프라에 통합될 것이다. 사양면에서 이 하드웨어는 38.6TB의 메모리와 초당 7.4페타바이트의 유효 대역폭을 갖춘 풀 액체 냉각 랙을 포함한다.
퀄컴의 자체 출시 전략은 2027년에 오라이언(Oryon) 기반 C1000 서버 CPU를 배포하고, 이어 2028년에 드래곤플라이 AI300에 차세대 HBC를 탑재하는 등 서버 쪽으로 이동할 계획이다. 확실히 개선된 사항이지만, 이러한 결과는 초기 실리콘을 기반으로 한 퀄컴 자체 연구소의 데이터이며, 독립적인 벤치마크가 다른 결과를 보여줄 가능성이 있음을 명심하는 것이 중요하다. 향후 독자들에게 이에 대한 업데이트 정보를 제공하겠다.
뉴스 출처: 퀄컴
구글에서 Wccftech를 팔로우하여 더 많은 뉴스 커버리지를 피드에서 받아보십시오.
📄 원문 (English)
Qualcomm has announced that its first-generation High Bandwidth Compute (HBC) silicon has been validated in its San Diego lab, giving the company early hardware evidence for a memory design aimed at AI inference. The chip seemingly ran the complete memory read-write path and near-memory computations at production-representative dimensions, using industry-standard automated test equipment with randomized weights and activations.
The chipset maker’s Dragonfly AI250 is expected to sample in the first half of 2027
The target is memory bandwidth, which Qualcomm calls a central constraint for LLM inference because every generated token requires model data to be fed to the compute units. When operating at a data center scale, the energy and latency of that movement affect throughput, power consumption, and total cost of ownership. HBC aims to solve this by placing compute closer to memory to cut data movement and raise effective bandwidth.
Qualcomm’s HBC design stacks low-power LPDDR dies on top of an active AI accelerator base die using wafer-to-wafer bonding, which shrinks the distance data travels from millimeters to just micrometers. As reported by HotHardware, this approach results in an 18x increase in effective memory bandwidth over LPDDR5X and more than 5x the bandwidth per watt of projected HBM4 specifications.
However, the efficiency improvements landed slightly below the 6x benchmark Qualcomm had projected earlier. The San Diego firm’s own footnote says the figures are estimates based on measured silicon results normalized to target operating conditions and compared with published competing product specifications, and that final performance may vary by implementation, workload and system configuration.
Qualcomm also describes a staged program spanning architecture, process development, test vehicles, silicon validation and product integration, and says it has worked with foundry and assembly partners to qualify wafer-to-wafer bonding. To address defects in its stacked layers, the design includes redundancy and remapping, allowing it to work around faulty memory. The chipset maker also points to more than a decade of memory-on-logic work, including commercialized direct bonding of DRAM onto logic and a hand in shaping JEDEC LPDDR standards.
Commercial products from Qualcomm are expected to employ a four-layer DRAM stack, up from a two-layer one. Speaking of products, the Dragonfly AI250 is targeted for sampling in the first half of 2027 and will slot into Qualcomm’s Dragonfly Rack inference infrastructure. As for the specifications, the hardware includes a full liquid-cooled rack with 38.6TB of memory and 7.4 petabytes per second of effective bandwidth.
Qualcomm’s in-house launch strategy will move towards the server side as it plans to deploy its Oryon-based C1000 server CPU in 2027, followed by next-generation HBC in the Dragonfly AI300 in 2028. While it’s certainly an improvement, it’s important to keep in mind that these results are from Qualcomm’s own lab based on early silicon, and there’s a possibility that independent benchmarks paint a different picture, which we’ll update readers about in the future.
News Source: Qualcomm
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com