중국 기술 거대 기업들, 엔비디아 RTX PRO 5500 선호…화웨이 AI 가속기 기각
🇰🇷 한글 번역
화웨이는 중국의 AI 가속기 출하량을 비교할 때 엔비디아와의 시장 격차를 서서히 좁히고 있지만, 바이트댄스, 알리바바, 텐센트와 같은 중국 최상위 기술 기업들은 GPU의 원천 성능과 CUDA 지원 덕분에 엔비디아를 여전히 최우선 선택지로 삼고 있음이 분명히 드러났다.
새로운 보고서에 따르면, 이러한 기업들은 B300이 미국의 제재로 인해 블랙리스트에 오르면서 훈련용 AI 모델 학습을 위해 엔비디아 RTX PRO 5500 유닛 300만 개 이상을 주문했다. 불행히도 모든 주문을 이행하는 것은 엔비디아조차 보장할 수 없는 상황이다. 출하가 지연될 가능성이 있음에도 불구하고, 중국 기업들은 이러한 GPU보다 더 나은 대안이 없다는 사실을 거의 수용하고 있다.
엔비디아는 RTX PRO 5500 출하량의 5~10%만 이행할 수 있다고 보고했지만, 이는 중국 기업들이 주문을 쏟아내는 것을 막지 못했다.
로이터 통신에 따르면 바이트댄스, 알리바바, 텐센트가 넣은 주문은 총액이 약 350억 달러로 추정되며, 이 금액은 엔비디아가 이행할 수 있는 분량을 훨씬 초과한다. 미국의 승인을 받지 못해 B300 칩을 중국으로 출하할 수 없게 되었으며, H200도 라이선스 조건을 적용받았으므로, 불필요한 수출 문제를 피하기 위해 화웨이의 애센드(Ascend) 시리즈를 선택하는 것이 명백한 경로처럼 보인다.
그러나 CUDA 지원과 원천 성능 모두에서 엔비디아가 가진 우월성은 화웨이가 이러한 한계를 보완하기 위해 멀티 칩 스택 방식을 채택해야 하는 이유를 보여준다. RTX PRO 5500은 단일 GPU에 무려 84GB의 GDDR7 ECC 메모리, 21,760개의 CUDA 코어, 1.398TB/s의 메모리 대역폭을 탑재하고 있어 이러한 중국 기업들에게 견고한 선택지다.
종이 위에서는 화웨이의 애센드 950PR이 128GB의 HiBL 1.0 메모리와 1.4~1.6TB/s의 메모리 대역폭, 그리고 RTX PRO 5500과 거의 동일한 전력 소모를 자랑하므로 더 우월한 선택지로 보이지만, 소프트웨어 지원도 하드웨어만큼 중요하다. 보고서에 따르면 엔비디는 파트너들에게 5~10%만 받을 수 있을 것이라고 알렸으며, 중국 고객의 총 주문량은 600만 개를 초과했다.
RTX PRO 5500이 엔비디아의 B300과 H200보다 성능이 낮음에도 불구하고, 중국 기업들은 거대 데이터셋에서 모델을 학습하는 것보다 AI 추론에 GPU를 활용하려는 목적이라면 수십억 달러를 지출하는 데 문제가 없을 것으로 보고 있다. 일반적으로 추론은 거대 데이터셋에서 모델을 학습하는 데 필요한 컴퓨팅 파워보다 적게 요구하므로, 이는 바이트댄스, 알리바바, 텐센트와 같은 기업들에게 이상적인 선택 무기다.
단종되었음에도 불구하고 엔비디아의 9년 된 테슬라 V100도 인기를 얻고 있는데, 이는 32GB의 HBM2 메모리가 더 저렴한 시스템에서 중간 규모의 대규모 언어 모델(LLM)을 실행하기에 충분하기 때문이다. 불행히도 이러한 수요 급증으로 인해 GPU 가격이 상승하고 있으며, 중고 시장에서는 사용된 유닛에 200달러의 프리미엄이 붙고 있다.
뉴스 출처: 로이터 통신
더 많은 뉴스 커버리지를 피드에서 확인하려면 Wccftech를 구글에서 팔로우하세요.
📄 원문 (English)
Huawei is slowly closing the market gap with NVIDIA when comparing China’s AI accelerator shipments, but top Chinese technology firms like ByteDance, Alibaba, and Tencent have evidently shown that the top graphics chip manufacturer will be their number one choice, thanks to the GPU’s raw performance and CUDA support.
A new report states that these companies have ordered more than 3 million NVIDIA RTX PRO 5500 units for training their AI models because the B300 faces a blacklist thanks to the U.S. ban-hammer. Unfortunately, fulfilling all orders is something even NVIDIA cannot guarantee. Despite a potential delay in shipments, Chinese firms have pretty much accepted that there’s no better alternative to these GPUs
NVIDIA has reportedly disclosed that it can fulfill between 5-10% of RTX PRO 5500 shipments, but that hasn’t stopped Chinese firms from placing an influx of orders
With a collective price estimated at $35 billion, Reuters reports that the orders placed by ByteDance, Alibaba, and Tencent far exceed what the company can fulfill. Given that NVIDIA’s B300 chip isn’t being authorized by the U.S. to be shipped to China, and the H200 has been treated to a licensing condition, the obvious path would be to choose Huawei’s Ascend range to avoid unnecessary export troubles.
However, NVIDIA’s superiority in both its CUDA support and raw performance shows why Huawei has to resort to a multi-chip-stacked approach to compensate for these limitations. The RTX PRO 5500 is a solid choice for these Chinese firms because a single GPU packs a whopping 84GB of GDDR7 ECC memory, 21,760 CUDA cores, and a memory bandwidth of 1.398TB/s.
On paper, Huawei’s Ascend 950PR is the superior choice with its 128GB of HiBL 1.0 memory and a memory bandwidth of 1.4-1.6TB/s, along with roughly the same power draw as the RTX PRO 5500, but the software support matters just as much as the hardware. According to the report, NVIDIA told partners they might receive only 5-10 percent, with total orders from customers in China having exceeded 6 million units.
Despite the RTX PRO 5500 being less powerful than NVIDIA’s B300 and H200, Chinese firms don’t foresee an issue forking out billions as they seek to leverage the GPU for AI inference. Given that inference generally requires less computing power than training models on massive datasets, it’s the ideal weapon of choice for firms like ByteDance, Alibaba, and Tencent.
NVIDIA’s 9-year-old Tesla V100 has also grown in popularity despite its discontinuation, as its 32GB HBM2 memory is more than sufficient to run medium-sized LLMs on more affordable rigs. Unfortunately, this demand surge is causing the GPU to pick up in price, with the second-hand market witnessing a $200 premium being stamped on used units.
News Source: Reuters
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com