TESLA LIVE 24.com · 24시간 반도체·SOXL 시세·속보 한국어 실시간

구글, 신규 TPU 8tx에 맞춤형 AMD EPYC CPU 호스트 결합…TPU 8i Max는 단일 패키지에 TPU 8i 칩 2개 탑재해 뛰어난 컴퓨팅·메모리 밀도 제공

Wccftech · 2026.11.10 02:28 · 원문 사이트
🇰🇷 한글 번역
구글은 에이전트 워크로드를 위한 두 가지 새로운 변형을 도입하여 TPU v8 가계를 확장했으며, 이를 통해 TPU 8tx로는 기밀 추론과 소규모 학습을, TPU 8i Max로는 메모리 벽 문제를 해결하고자 한다. 구글의 TPU 8t 및 TPU 8i 칩 개요 구글의 TPU 8t는 중앙 로직 칩렛, 전용 SerDes 칩렛, 그리고 여러 개의 고대역폭 메모리 스택을 물리적으로 통합하는 '제브라 패키지'에 탑재되어 있다. TPU 8t의 연산 및 처리 장치 4월에 작성한 전용 게시글에서 언급했듯이, 구글의 TPU 8t는 주로 AI 모델 학습을 위해 설계되었다. TPU 8t의 핵심 연산 엔진인 TensorCore는 벡터 처리 장치(VPU)와 벡터 메모리(Vmem)가 결합된 중앙 허브를 특징으로 한다. 이 중앙 허브는 두 개의 행렬 곱셈 장치(MXU), 두 개의 확장 논리 장치(XLU), 그리고 TensorCore 시스템(TCS) 블록과 연결된다. 공개된 사양에 따르면, MXU는 네이티브 4비트 부동소수점(FP4) 지원을 도입하여 에너지 집약적인 데이터 이동을 최소화하면서 칩당 FP4 연산 처리량을 12.6 페타플롭스로 두 배로 늘린다. 이 아키텍처는 벡터 연산(소프트맥스 등)이 행렬 곱셈과 겹칠 수 있도록 VPU와 MXU의 스케일링을 균형 있게 조정하여 하드웨어 활용률을 극대화한다. TPU 8t. 주요 TensorCore 외에도 로직 칩렛에는 두 개의 전용 희소(Sparse) 코어가 포함되어 있다. 이러한 특수 가속기는 임베딩 조회에서 흔히 발생하는 데이터 의존적 불규칙 메모리 접근 패턴을 처리하여, 복잡한 작업 동안 범용 칩을 괴롭히는 병목 현상을 방지하도록 설계되었다. TPU 8t의 메모리 하부 시스템 메모리 라우팅은 연산 요소를 여섯 개의 별도 HBM3E 컨트롤러에 연결하는 중앙 '메모리 및 DMA 인터커넥트'가 담당한다. 이 컨트롤러들은 동일한 패키지 내에 위치한 여섯 개의 인접한 8-hi HBM3E 메모리 스택과 직접 인터페이스한다. 공개된 사양에 따르면, 이 구성은 칩당 216GB에서 288GB의 고대역폭 메모리를 제공하며, 6.5TB/s에서 8.6TB/s의 빠른 속도로 작동한다. 또한 칩에는 중요한 파라미터 레이어를 연산 요소와 물리적으로 가깝게 유지하기 위해 128MB의 온다이 SRAM이 포함되어 있다. 인터커넥트, 호스트 통합 및 네트워킹 워크로드를 확장하고 외부 시스템과 통신하기 위해 TPU 8t는 ICR 라우터와 두 개의 '3x 링크 스택 + MAX2 PHY' 블록을 포함하는 인터커넥트(ICI) 모듈을 활용한다. 이 ICI 모듈은 칩 간 데이터 전송 속도를 처리할 수 있는 6x224G SerDes 오컬을 갖춘 오프칩렛 SerDes 구성 요소에 직접 연결된다. 호스트 및 관리 연결을 위해 로직 칩렛은 호스트에 직접 연결되는 PCIe Gen5 x16 인터페이스와 gBMC에 연결된 보조 PCIe Gen2 x1 연결을 갖추고 있다. 전용 '칩 매니저'가 칩 수준의 작업을 감독한다. 시스템 수준에서 구글은 이러한 TPU를 Arm 기반 Axion CPU와 페어링하여 복잡한 데이터 전처리를 처리함으로써, 호스트 측 지연으로 인해 제한되지 않고 TPUs가 지속적으로 데이터를 공급받도록 한다. 구글의 TPU 8i 또한 하드웨어를 중앙 로직 칩렛과 전용 SerDes 칩렛으로 분할하는 소위 '제브라 패키지'를 갖추고 있다. TPU 8i의 연산 및 처리 장치 구글의 TPU 8i는 추론 부하를 위해 특별히 설계되었습니다. 그 로직 칩렛은 매우 높은 연산 밀도를 자랑하며, 두 가지 서로 다른 TensorCore를 특징으로 합니다. 각 TensorCore 내부에는 중앙 벡터 처리 장치(VPU)와 벡터 메모리(Vmem) 블록이 두 개의 행렬 곱 연산 장치(MXU), 두 개의 확장 논리 장치(XLU), 그리고 Tensor Core System(TCS) 블록에 연결되어 있습니다. 공개된 성능 지표에 따르면, 이 듀얼 코어 구성은 TPU 8i가 최대 FP4 연산 성능으로 10.1 페타플롭스를 달성할 수 있게 합니다. TPU 8i의 메모리 서브시스템 추론 부하에 필요한 고속 데이터 전달을 처리하기 위해, 메모리 서브시스템은 로직 칩렛 위에 두 개의 별도 '메모리 및 DMA 인터커넥트' 모듈을 활용합니다. 각 인터커넥트 블록은 데이터는 4개의 HBM3 컨트롤러로 라우팅하며, 각 컨트롤러는 전용 8-hi HBM3E 메모리 스택과 인터페이스합니다. 이로 인해 패키지 위에 직접 통합된 총 8개의 HBM3E 메모리 스택이 생성됩니다. 따라서 구글의 TPU8i는 성능 병목 현상을 제거하기 위해 매우 진보된 전문화된 메모리 레이어를 활용합니다: - 각 TPU 8i 칩은 288GB의 HBM3e를 탑재하여 초고속 메모리 대역폭인 8.6TB/s를 제공합니다. - 이 ASIC은 또한 활성 키-값(KV) 캐시를 저장하기 위해 온칩 SRAM 384MB를 통합하여 외부 시스템 RAM을 쿼리할 필요성을 없앱니다. - TPU 8i 서버는 데이터 전처리 같은 호스트 수준의 작업을 위해 고속 DDR5 메모리 아키텍처에 의존하는 구글의 맞춤형 Arm 기반 Axion 프로세서로 구형 x86 호스트 프로세서를 완전히 대체합니다. 호스트 통합 및 네트워킹 로직 칩렛은 호스트에 연결된 PCIe Gen5 x16 인터페이스와 gBMC에 연결된 PCIe Gen2 x1 연결을 통해 호스트 통신을 관리하며, 이는 전용 '칩 매니저'가 감독합니다. 강력한 칩 간 네트워킹을 위해, 로직 칩렛은 ICI 라우터, 6x 링크 스택, SC-CAE 블록을 포함하는 인터커넥트(ICI) 모듈을 갖추고 있습니다. 이 ICI 모듈은 외부 SerDes 칩렛과 원활하게 연결되며, 여기에는 6x200G SerDes 옥탈과 물리 부호화 계층(PCS)이 포함되어 구글의 전문화된 토폴로지 전반에 걸친 방대한 양의 칩 외부 데이터 전송을 관리합니다. 이번이 구글이 단 한 해에 네 가지 새로운 TPU를 처음 도입한 것입니다 오늘의 주제 핵심으로 넘어가겠습니다. 구글은 방금 TPU v8 계열의 두 가지 새로운 변형인 TPU 8tx와 TPU 8i Max를 소개했습니다. TPU 8tx는 TPU 8t의 수정된 버전인 반면, TPU 8i Max는 단일 패키지에 두 개의 TPU 8i 칩을 결합한 것입니다. TPU 8tx는 기밀 추론과 에이전트 부하를 대상으로 하며, TPU 8t 실리콘을 맞춤형 AMD CPU 호스트와 결합하여 처리 중 데이터와 모델 가중치를 보호하기 위해 하드웨어 수준의 기밀 컴퓨팅을 추가합니다. TPU 8tx 또한 TPU 8i를 위해 개발된 Boardfly 네트워크를 채택합니다. 구글에 따르면, 이러한 모든 변경 사항은 향상된 보안 기능에 대한 성능 저하가 거의 없는 상태에서 TPU 8t보다 최대 2배의 성능을 제공합니다. 한편, TPU 8i Max는 에이전트 부하와 백만 토큰 컨텍스트의 과도한 메모리 요구 사항을 해결하는 것을 목표로 합니다. 구글에 따르면, TPU 8i Max의 듀얼 칩 패키지는 TPU 8i 대비 연산, SRAM, HBM 대역폭이 2배 증가합니다. 또한 TPU 8i Max는 TPU 8i와 거의 동일한 랙 공간을 차지하므로, 구글은 이 새로운 칩을 통해 제공되는 연산 밀도를 사실상 두 배로 늘렸습니다. 이는 또한 TPU 8i Max가 무려 768MB의 SRAM을 탑재하고 있음을 의미한다. 다만 구글은 이 칩에 탑재된 HBM의 용량을 아직 공식 확인하지 않았다. 더 많은 뉴스를 피드에서 받아보려면 Wccftech를 Google에서 팔로우하라.
📄 원문 (English)
Google has just expanded its TPU v8 family by introducing two new variants for agentic workloads, unlocking confidential inference and small-scale training with the TPU 8tx, while the TPU 8i Max attempts to solve the memory wall problem. An overview of Google's TPU 8t and TPU 8i chips Google's TPU 8t is housed within the "Zebra package" that physically integrates a central Logic chiplet, a dedicated SerDes chiplet, and multiple high-bandwidth memory stacks. TPU 8t compute and processing units As we noted in a dedicated post in April, Google's TPU 8t is primarily meant to train AI models. The core computational engine of the TPU 8t is the TensorCore, which features a central Vector Processing Unit (VPU) combined with Vector Memory (Vmem). This central hub connects to two Matrix Multiply Units (MXUs), two eXtended Logic Units (XLUs), and a Tensor Core System (TCS) block. According to publicly available specifications, the MXUs introduce native 4-bit floating point (FP4) support, doubling throughput to deliver 12.6 PetaFLOPS of FP4 compute per chip while minimizing energy-intensive data movement. The architecture balances VPU and MXU scaling so that vector operations (like softmax) can overlap with matrix multiplication, maximizing hardware utilization. TPU 8t. Beyond the main TensorCore, the Logic chiplet also houses two dedicated Sparse cores. These specialized accelerators are designed to offload data-dependent, irregular memory access patterns common in embedding lookups, preventing the bottlenecks that plague general-purpose chips during complex operations. The memory subsystem of the TPU 8t Memory routing is handled by a central "Memory and DMA interconnect" that links the compute elements to six separate HBM3E controllers. These controllers interface directly with six adjacent 8-hi HBM3E memory stacks located within the same package. Public specifications indicate this configuration yields between 216 GB and 288 GB of high-bandwidth memory per chip, running at blistering speeds of 6.5 TB/s to 8.6 TB/s. Additionally, the chip includes 128 MB of on-die SRAM, keeping crucial parameter layers physically close to the compute elements. Interconnect, host integration, and networking To scale workloads and communicate with external systems, the TPU 8t utilizes an Interconnect (ICI) module containing an ICR Router and two "3x Link Stack + MAX2 PHY" blocks. This ICI module connects directly to the off-chiplet SerDes component, which is equipped with 6x224G SerDes octals to handle immense chip-to-chip data transfer rates. For host and management connections, the logic chiplet features a PCIe Gen5 x16 interface connecting directly to the Host, alongside a secondary PCIe Gen2 x1 connection linked to a gBMC. A dedicated "Chip manger" oversees chip-level operations. At the system level, Google pairs these TPUs with Arm-based Axion CPUs to handle complex data preprocessing, ensuring the TPUs are constantly fed with data without being limited by host-side latency. Google's TPU 8i also sports the so-called "Zebra package" that splits the hardware into a central logic chiplet and a dedicated SerDes chiplet. TPU 8i compute and processing units Google's TPU 8i is expressly intended for inference workloads. Its logic chiplet is quite compute-dense, featuring two distinct TensorCores. Within each TensorCore, a central Vector Processing Unit (VPU) and Vector Memory (Vmem) block is connected to two Matrix Multiply Units (MXUs), two eXtended Logic Units (XLUs), and a Tensor Core System (TCS) block. Publicly available performance metrics indicate that this dual-core configuration enables the TPU 8i to deliver 10.1 PetaFLOPS of peak FP4 compute performance. The memory subsystem for TPU 8i To handle the high-speed data delivery required for inference workloads, the memory subsystem utilizes two separate "Memory and DMA interconnect" modules on the Logic chiplet. Each interconnect block routes data to four HBM3 controllers, and each controller interfaces with a dedicated 8-hi HBM3E memory stack. This results in a total of eight HBM3E memory stacks integrated directly onto the package. As such, Google's TPU8i leverages highly advanced, specialized memory layers to eliminate performance bottlenecks: - Each TPU 8i chip is equipped with 288 GB of HBM3e, delivering an ultra-fast memory bandwidth of 8.6 TB/s. - The ASIC also integrates 384 MB of on-chip SRAM to store active key-value (KV) cache, bypassing the need to query external system RAM. - TPU 8i servers completely replace old x86 host processors with Google's custom, Arm-based Axion processors, which rely on high-speed DDR5 memory architecture for host-level tasks like data pre-processing. Host integration and networking The logic chiplet manages host communications through a PCIe Gen5 x16 interface connected to the Host and a PCIe Gen2 x1 connection linked to a gBMC, all overseen by a dedicated "Chip manger." For robust inter-chip networking, the logic chiplet features an Interconnect (ICI) module containing an ICI Router, a 6x Link Stack, and an SC-CAE block. This ICI module links seamlessly to the external SerDes chiplet, which contains 6x200G SerDes octals and a Physical Coding Sublayer (PCS) to manage vast amounts of off-chip data transfer across Google's specialized topologies. This is the first time that Google has introduced four new TPUs in a single year This brings us to the core of today's topic. Google has just introduced two new variants of its TPU v8 family, the TPU 8tx and the TPU 8i Max. Do note that the TPU 8tx is a modified version of the TPU 8t, while the TPU 8i Max combines two TPU 8i chips in a single package. For its part, the TPU 8tx targets confidential inference and agentic workloads, and pairs the TPU 8t silicon with custom AMD CPU hosts, adding hardware-level confidential computing to protect data and model weights during processing. The TPU 8tx also adopts the Boardfly network developed for TPU 8i. According to Google, all of these changes deliver up to twice the performance of the TPU 8t, with a near-zero performance penalty against enhanced security capabilities. Meanwhile, the TPU 8i Max aims to tackle the exorbitant memory demands of agentic workloads and million-token contexts. According to Google, the dual-chip packaging of the TPU 8i Max offers 2x the compute, SRAM, and HBM bandwidth of the TPU 8i. Also, since the TPU 8i Max sports roughly the same rack footprint as that of the TPU 8i, Google has essentially doubled the compute density it offers with this new chip. This also means that the TPU 8i Max offers a whopping 768 MB of SRAM. Do note that Google has not confirmed the quantum of HBM that is available with this chip. Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com

다른 반도체 뉴스

3 AI Chip Stocks Retail Investors Are Watching After The Nvidia Selloff · Yahoo FinanceSK hynix Sinks 21% in a Week With Micron and Sandisk. Its U.S. Premium Is an “Extra Special Case” · Yahoo FinanceThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareThis week on Tom's Hardware Premium: 21 November 2026 — AMD, Nvidia and more show off the future of high-performance computing at SC26 · Tom's HardwareAfter Plummeting 62% This Year, Could Buying Intel Stock Today Set You Up for Life? · Yahoo FinancePrediction: Nvidia Stock Will Be Worth This Much in 1 Year · Yahoo FinanceApplied Materials vs. Nvidia: Which Tech Stock Is a Better Buy for 2027? · Yahoo FinanceTrump Calls Huang’s Exit “Such a Tragedy” as His Filing Shows Up to $380,000 of Nvidia Buys · Yahoo Finance