딥시크·문샷AI 모델 초기 가중치에 엔비디아 블랙웰 흔적…3,000~4,500개 GPU 기반 학습 클러스터 시사
🇰🇷 한글 번역
미국과 중국 간의 칩 긴장이 엔비디아 전 CEO인 젠슨 황의 갑작스러운 사임 이후 다시 한번 급증하면서, Uemployment Labs가 수행한 포렌식 분석은 몇몇 중국산 AI 모델이 학습 실행을 위해 수천 개의 엔비디아 최신 블랙웰 AI GPU를 의존했을 가능성이 있음을 시사한다.
AI 연구소는 AI 모델 가중치를 역공학하고 AI 모델의 학습 실행을 초기화한 프로세서의 스레드 수를 복원함으로써 블랙웰 칩과 특화되어 연결된 하드웨어 지문을 일치시키려 시도했다.
연구원, 딥시크 및 문샷이 개발한 중국 최고 수준의 AI 모델들이 초기 학습 단계에서 엔비디아 블랙웰 GPU를 의존했을 수 있다고 주장
언임플로이먼트 랩스의 보고서는 일부 중국 연구소가 고급 블랙웰 GPU에 접근할 수 있었음을 보여준다고 주장하지만, 블랙웰 GPU 수출 통제 규정이 위반되었는지 여부를 평가하기 위한 증거는 아니라고 덧붙인다.
각 칩의 하드웨어 흔적을 모델의 가중치를 분석하여 생성된 흔적과 일치시키는 데 의존하는 이 데이터는, 개별 학습 실행이 3,000개에서 4,500개 사이의 블랙웰 GPU 클러스터를 사용했으며, 참여 연구소 전반에 걸쳐 결합된 다중 모델 흔적이 12,000개 이상의 칩에 달했을 가능성을 시사한다.
연구원들은 AI 모델의 공개된 가중치를 분석하고, 딥시크와 기타 기관이 모델 학습을 시작할 당시 초기 모델 가중치를 생성한 시드를 파악하는 데 사용했다.
파라미터라고도 불리는 모델 가중치는 AI 모델이 입력을 출력으로 변환할 수 있게 한다. 대부분의 가중치는 학습 단계를 거치며 변화하지만, 초기 세트는 일부 정적 가중치에 의해 결정될 수 있다고 듀페는 말한다.
시드는 초기 가중치라고 불리는 일련의 숫자를 생성하기 위해 숫자 발생기에 입력되는 값이다. 초기 숫자 세트는 학습 초기화 시 사용된 AI GPU 설계 아키텍처에 의존하는 행렬 패턴에 고정된다. 듀페는 AI 모델의 정적 가중치 패턴을 엔비디아 호퍼 및 블랙웰 GPU의 스트리밍 멀티프로세서(SM) 레이아웃이 생성한 초기화 패턴과 비교하여, 해당 모델들이 엔비디아 칩으로 학습 실행을 시작했다고 결론지었다고 주장한다.
각 유형의 AI 칩은 고정된 수의 처리 코드를 가지고 있으므로, 그 하드웨어 레이아웃은 학습이 시작되기 전에 AI 모델에 시작 무작위 숫자를 배치하는 데 사용되는 정확한 그리드 패턴을 결정한다. 각 GPU 아키텍처는 서로 다른 SM 레이아웃을 가지므로, AI 모델의 가중치를 충분히 깊이 살펴보면 GPU 클래스를 식별할 수 있다.
보고서, 중국 AI 연구소들이 학습 초기화를 위해 최대 22,000개의 블랙웰 GPU를 사용했을 수 있다고 주장
패턴 일치에 의존하여, 연구원들은 딥시크, 문샷, 미니맥스 및 인클루전 AI가 수천 개의 블랙웰 GPU를 사용했다고 결론지었다. 이 추정은 딥시크-V4-플래시, 딥시크-V4-프로, 미니맥스-M3, 킴이 K3 및 링-3.1-플래시 AI 모델에 대해 누적 7,000개에서 22,000개 GPU 범위로, 학습 실행 시간, GPU 사용 효율성 및 기타 요인에 크게 의존한다.
22,000이라는 숫자는 모델들이 동일한 블랙웰 클러스터에서 학습하지 않았다고 가정한다. 이는 예를 들어 일론 머스크가 2026년 말까지 100만 개 이상의 이러한 칩을 온라인으로 가동하려는 계획에 비해 상당히 소박한 수치이다.
중국 AI 연구소들이 학습 초기화를 위해 조달할 수 있었던 몇몇 칩에 관해서조차, 보고서는 경고한다:
특히, 우리의 발견은 고급 컴퓨팅 하드웨어에 대한 접근에 대한 기술적 증거를 제공하지만, 칩이 어디에 위치해 있었는지, 어떻게 접근이 이루어졌는지, 또는 수출 통제가 위반되었는지는 입증하지 못한다.
엔비디아의 블랙웰 AI GPU는 수출 통제 대상 품목이며 중국에 판매될 수 없지만, 중국 AI 연구소들은 GPU 클러스터를 통해 원격으로 이에 접근할 수 있다. 또한, 올해 5월 상무부가 발표한 가이드라인은 싱가포르나 말레이시아에 일반적으로 위치한 중국 기업 자회사에 대한 판매에도 이러한 제한이 적용된다고 명시했다.
엔비디아의 창립자이자 전 CEO인 젠슨 황을 둘러싼 최근 일련의 사건들은 중국으로의 칩 수출에 다시 한번 주목을 끌었다. 의회에서는 원격 접근을 겨냥한 입법안이 추진되고 있으며, 중국 기업들은 규정이 더욱 강화되기 전에 주문을 확보하기 위해 서두르고 있다.
엔비디아의 CUDA 스택은 딥러닝이 인기를 끌 당시 성숙한 GPU 플랫폼이 유일했기 때문에 AI 칩 산업에서 핵심적인 우위를 점하고 있다. 그러나 앤티로픽과 같은 일부 기업은 특정 애플리케이션의 경우 AMD GPU로 전환하는 것이 이제 몇 주 안에 가능한 일이라고 주장한다.
또한, 중국 연구소의 최신 AI 모델인 DeepSeek V4.1 Flash에서도 단서는 끊긴다. 이 모델은 새로운 아키텍처를 채택하고 있는데, 이 아키텍처는 GPU 초기화 흔적을 숨긴다. 데퓨(Defue)는 다음과 같이 지적했다.
"마찬가지로, GPU가 아닌 일반 프로세서에서 초기화된 가중치는 GPU 지문을 남기지 않습니다. 알리바바의 모델 중 몇 개는 이러한 방식으로 초기화되어 훈련에 사용된 GPU에 대한 흔적이 남지 않았습니다. 또한, 메이트uan의 LongCat-2.0(회사는 이것이 'AI ASIC 슈퍼팟'에서 훈련되었다고 밝힘)과 DeepSeek-V4.1-Flash에서도 지문을 찾지 못했습니다. 이는 철저한 검색에도 불구하고 마찬가지였습니다."
더 많은 뉴스 커버리지를 피드에서 받아보려면 Wccftech를 구글에서 팔로우하세요.
📄 원문 (English)
With chip tensions between the US and China experiencing another surge following former NVIDIA CEO Jensen Huang's abrupt departure from the firm, forensic analysis conducted by Uemployment Labs suggests that several Chinese AI models might have relied on thousands of NVIDIA's latest Blackwell AI GPUs for their training run.
The AI lab attempted to match hardware fingerprints linked specifically to the Blackwell chips by reverse engineering AI model weights and recovering the thread count for the processors that initialized the AI model's training run.
Top Chinese AI Models Developed By DeepSeek & Moonshot Might Have Relied On NVIDIA's Blackwell GPUs During Initialization Training, Says Researcher
While Unemployment Labs' report claims to show that some Chinese labs were able to access the advanced Blackwell GPUs, it does add that the evidence is not to evaluate whether Blackwell gPU export control regulations were violated.
The data, which relies on matching the hardware imprint of each chip with the imprint generated via analyzing a model's weights, does, however, suggest that individual training runs utilized clusters ranging between 4,500 and 3,000 Blackwell GPUs, with combined multi-model footprints reaching upwards of 12,000 chips across participating labs.
The researchers analyzed the AI models' published weights and used these to figure out the seed that generated the initial model weights at the time DeepSeek and others started model training.
Model weights, also called parameters, enable an AI model to transform input into output. Most weights transform throughout the training phase, but the initial set can be determined by some static weights, says Depue.
A seed is a value fed into a number generator to produce a set of numbers that are called initial weights. The initial set of numbers is locked into a matrix pattern dependent on the AI GPU design architecture used at the time of training initialization. DuPue claims to have compared the pattern of static weights in the AI models against the initialization patterns produced by the streaming multiprocessor (SM) layouts of NVIDIA’s Hopper and Blackwell GPUs to conclude that the models started their training runs with the NVIDIA chips.
Because each type of AI chip has a fixed number of processing cores, that hardware layout dictates the exact grid pattern used to place starting random numbers into an AI model before training begins. Each GPU architecture has a different SM layout, which makes the GPU class identifiable if one looks deep enough at an AI model's weights.
Chinese AI Labs Might Have Used As Many As 22,000 Blackwell GPUs For Training Initialization, Says Report
By relying on pattern matching, the researchers conclude that several thousand Blackwell GPUs were used by DeepSeek, Moonshot, MiniMax and Inclusion AI. The estimate ranges from 7,000 to 22,000 GPUs cumulatively for the DeepSeek-V4-Flash, the DeepSeek-V4-Pro, the MiniMax-M3, Kimi K3 and the Ling-3.1-flash AI models and is highly dependent on the time of the training run, GPU usage efficiency and other factors.
The 22,000 figure assumes that the models did not train on the same Blackwell Cluster. It is quite modest, compared to, for instance, Elon Musk's plan to bring more than a million of such chips online by 2026 end.
Even for the few chips that the Chinese AI labs were able to procure for their training initialization, the report cautions:
"Notably, our findings provide technical evidence of access to advanced computing hardware, but do not establish where the chips were located, how access was obtained, or whether export controls were violated."
While NVIDIA's Blackwell AI GPUs are export-controlled items and cannot be sold to China, Chinese AI labs can access them remotely via GPU clusters. Similarly, Commerce Department guidance issued in May this year stated that the restrictions also applied to selling to subsidiaries of Chinese companies typically located in Singapore or Malaysia.
The recent saga surrounding NVIDIA's founder and former CEO, Jensen Huang, has also brought fresh spotlight for chip exports to China. Legislation in Congress seeks to target remote access while Chinese firms are already rushing to secure orders before the rules are further tightened.
NVIDIA's CUDA stack provides it a key advantage in the AI chip industry as it was the only mature GPU platform at the time deep learning grew in popularity. However, some, such as Anthropic, have claimed that switching to AMD GPUs is now just a matter of weeks for some applications.
The trail also goes cold with the DeepSeek V4.1 Flash, as the newest AI model from the Chinese lab has a new architecture. This architecture masks the GPU initialization footprint, with Defue noting:
"Likewise, weights initialized on an ordinary processor rather than a GPU leave no GPU fingerprint; several of Alibaba’s Qwen3 models were initialized this way, and thus leave no trace of which GPUs were used to train them. We also found no fingerprint in Meituan’s LongCat-2.0, which the company says was trained on “AI ASIC superpods,” or in DeepSeek-V4.1-Flash, despite an exhaustive search."
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com