엔비디아 RTX 30 GPU, 새로운 언락 모드로 AI 연산 속도 최대 2배 향상, 실제 성능 최대 60% 개선
🇰🇷 한글 번역
엔비디아(NVIDIA)의 노후화된 지포스 RTX 30 시리즈(코드명 암페어) GPU에는 상당한 미사용 컴퓨팅 잠재력이 있는 것으로 보인다. 깃허브(GitHub) 사용자 자기타(Zagitta)가 개발한 새로운 오픈소스 프로젝트인 'GPU Unlock'은 수정된 엔비디아 드라이버나 영구적인 VBIOS 플래싱 없이도 특정 워크로드에서 텐서 코어 컴퓨팅 처리량을 거의 두 배로 늘려 암페어 GPU가 일부 인위적인 성능 제한을 극복할 수 있게 해준다.
이 프로젝트는 특히 FP32 누적을 동반한 FP16/BF16 텐서 코어 연산에 영향을 미치는 명령어 발행률 제한을 대상으로 한다. 이는 소비자용 암페어 그래픽 카드에서 프로페셔널용 counterparts에 비해 낮은 속도로 작동하는 부분이다. 이 제한을 제거함으로써 이 도구는 GPU가 이미 제공할 수 있었던 추가 컴퓨팅 성능을 효과적으로 활성화한다.
흥미롭게도 GPU Unlock은 엔비디아의 CMP 암호화폐 채굴 GPU와 관련된 이전 연구를 기반으로 한다. 이 프로젝트는 CMP 프로젝트의 펌웨어 잠금 해제 기술과 초기화 접근 방식을 결합하여, 엔비디아 GPU 드라이버가 로드되기 전에 실행되는 리눅스 커널 모듈을 사용한다. 이 모듈은 관련 하드웨어 속도 선택자를 수정하고, 기능 수준 재설정(Function Level Reset, FLR)을 수행한 후 수정되지 않은 드라이버가 GPU를 정상적으로 초기화할 수 있도록 한다.
이는 또한 사용자가 새 버전이 출시될 때마다 엔비디아 드라이버를 패치할 필요가 없음을 의미한다. 현재 개발자는 GA102, GA103, GA104 및 GA106 GPU에 대한 지원을 나열하고 있으며, 이는 지포스 RTX 30 시리즈 라인업의 상당 부분을 포괄한다. 다만 모든 그래픽 카드에서 호환성과 성능 개선이 보장되는 것은 아니다.
성능 개선은 놀라울 수 있다. 프로젝트의 깃허브 저장소에 게시된 벤치마크에 따르면, 450W 전력 제한에서 작동하는 RTX 3090 Ti는 FP32 누적을 갖춘 밀집 행렬 곱셈(GEMM) 테스트에서 다음과 같은 결과를 기록했다:
이러한 결과는 RTX 3090 Ti에만 국한되지 않는다. 한 RTX 3080 Ti 소유자는 GPU가 315W로 제한된 상태에서 BF16 처리량이 71.59 TFLOPS에서 113.98 TFLOPS로 증가했으며, TF32 성능은 35.65 TFLOPS에서 65.28 TFLOPS로 향상되었다고 보고했다. 또 다른 RTX 3080 10GB 호환성 보고서는 카드의 원래 320W 전력 제한 하에서 FP16/BF16 성능이 약 65 TFLOPS에서 110~113 TFLOPS로 증가했다고 문서화했다. 이러한 개선 사항들은 X(구 트위터)에서도 강조되었다.
하지만 실제 애플리케이션 성능은 어떤가? 다행히 커뮤니티 구성원들은 이미 실제 AI 워크로드에서 잠금 해제를 테스트하기 시작했으며, 초기 소감은 고무적이다.
레딧의 한 RTX 3090 Ti 사용자는 ComfyUI에서 GPU Unlock을 벤치마크했으며, MOSS-Image SFT BF16에서 58.6%, 2.1 Turbo BF16에서 57.2%, Z-Image Turbo BF16에서 56.1% 더 높은 처리량을 보고했다. 한편, INT8 구성은 훨씬 작은 개선을 보였으며, MOSS-Image SFT INT8은 단 0.3%만 향상되었다. 테스트러는 스톡 구성과 잠금 해제 구성 간에 동일한 디코딩된 이미지 출력을 보고했다.
대형 언어 모델(LLM) 추론도 잠재적 수혜자일 수 있지만, 개선 사항은 워크로드에 따라 크게 달라진다. 예를 들어, 한 RTX 3090 호환성 보고서는 vLLM 프롬프트 처리/추론 처리량이 33% 향상되었지만, 토큰 생성은 실질적으로 변하지 않았다고 문서화했다. 이는 LLM 디코딩이 종종 순수 텐서 코어 컴퓨팅 처리량이 아닌 메모리 대역폭에 의해 제한되기 때문에 이해할 만하다.
부각할 만한 추가적인 developments는 원래의 Linux 커널 모듈 대신 UEFI 기반 접근 방식을 사용하는 실험적인 Windows 구현이다. 해당 개발자는 RTX 3090 구현에서 BF16 연산 처리량이 약 82.5% 증가하는 성공적인 사례를 문서화했다. 그러나 이는 일반적으로 호환되는 Windows 릴리스라기보다는 실험적이고 하드웨어 특화적인 솔루션에 불과하다.
중요한 제한사항들도 존재한다. GPU Unlock은 메모리 대역폭을 증가시키지 않으며, 추가적인 CUDA 코드를 활성화하거나 모든 워크로드를 자동으로 개선하지도 않는다. 적어도 하나의 RTX 3080 Ti 20GB 호환성 보고서에서는 예상되는 BF16 성능 향상 없이 성공적인 잠금 해제 절차가 기록되었으며, 이는 결과가 보편적이지 않음을 보여준다.
게이밍과 관련하여 NVIDIA의 DLSS 기술도 Tensor 코스를 활용하지만, GPU Unlock이 게이밍 성능이나 DLSS 실행 시간을 개선한다는 설득력 있는 증거는 현재까지 없다. 이득이 발생하려면 실제 워크로드가 영향을 받는 명령어와 누적 모드를 사용해야 한다. 따라서 인상적인 연산 벤치마크 결과가 게이밍 FPS의 동등한 증가로 오해되어서는 안 된다.
그럼에도 불구하고 GPU Unlock은 GeForce RTX 30 시리즈 소유자, 특히 로컬 AI 추론, 이미지 생성 및 기타 연산 집약형 애플리케이션에 GPU를 사용하는 사용자에게 흥미로운 developments이다. 프로젝트가 아직 실험 단계이지만, 기존 하드웨어를 영구적으로 수정하지 않고도 상당한 성능을 끌어낼 수 있다는 전망은 분명히 매력적이다.
뉴스 출처: GPU Unlock GitHub 저장소
Wccftech를 Google에서 팔로우하여 피드에서 더 많은 뉴스 커버리지를 받아보세요.
📄 원문 (English)
NVIDIA's aging GeForce RTX 30 Series (codename Ampere) GPUs apparently have a considerable amount of untapped computing potential. A new open-source project called GPU Unlock, developed by GitHub user Zagitta, allows Ampere GPUs to overcome certain artificial performance restrictions, nearly doubling their Tensor Core compute throughput in specific workloads without requiring a modified NVIDIA driver or a permanent VBIOS flash.
The project specifically targets the instruction issue-rate limitation affecting FP16/BF16 Tensor Core operations with FP32 accumulation, which operates at a reduced rate on consumer Ampere graphics cards compared to their professional counterparts. By removing this restriction, the tool effectively enables additional computing performance that the GPUs were already capable of delivering.
Interestingly, GPU Unlock builds upon earlier research involving NVIDIA's CMP cryptocurrency mining GPUs. It combines the firmware unlocking techniques of the CMP project with an early initialization approach, using a Linux kernel module that executes before NVIDIA's GPU driver loads. The module modifies the relevant hardware speed selectors, performs a Function Level Reset (FLR), and then allows the unmodified driver to initialize the GPU normally.
This also means that users won't have to patch their NVIDIA drivers every time a new version is released. The developer currently lists support for GA102, GA103, GA104, and GA106 GPUs, covering a substantial portion of the GeForce RTX 30 Series lineup, although compatibility and performance improvements aren't guaranteed across every graphics card.
The performance improvements can be remarkable. According to benchmarks published in the project's GitHub repository, an RTX 3090 Ti operating at a 450W power limit delivered the following results in dense matrix multiplication (GEMM) tests with FP32 accumulation:
These results aren't exclusive to the RTX 3090 Ti, either. An RTX 3080 Ti owner reported BF16 throughput increasing from 71.59 to 113.98 TFLOPS, while TF32 performance improved from 35.65 to 65.28 TFLOPS, with the GPU limited to 315W. Another RTX 3080 10GB compatibility report documented FP16/BF16 performance increasing from approximately 65 TFLOPS to 110–113 TFLOPS under the card's original 320W power limit. These improvements were also highlighted on X.
But what about actual application performance? Fortunately, community members have already started testing the unlock in real-world AI workloads, and the preliminary findings are encouraging.
One RTX 3090 Ti user on Reddit benchmarked GPU Unlock in ComfyUI, reporting 58.6% higher throughput with MOSS-Image SFT BF16, 57.2% with Qwen-Image 2.1 Turbo BF16, and 56.1% with Z-Image Turbo BF16. Meanwhile, INT8 configurations saw much smaller improvements, with MOSS-Image SFT INT8 improving by just 0.3%. The tester also reported identical decoded image output between the stock and unlocked configurations.
Large Language Model (LLM) inference is another potential beneficiary, although improvements are considerably more workload-dependent. For example, an RTX 3090 compatibility report documented a 33% improvement in vLLM prompt-processing/inference throughput, while token generation remained practically unchanged. That's understandable, considering that LLM decoding is frequently limited by memory bandwidth rather than raw Tensor Core compute throughput.
An additional development worth highlighting is an experimental Windows implementation, which uses a UEFI-based approach instead of the original Linux kernel module. Its developer has documented a successful RTX 3090 implementation, with BF16 compute throughput increasing by approximately 82.5%. However, this remains an experimental, hardware-specific solution rather than a generally compatible Windows release.
There are also important limitations. GPU Unlock doesn't increase memory bandwidth, enable additional CUDA cores, or automatically improve every workload. At least one RTX 3080 Ti 20GB compatibility report documented a successful unlock procedure without the expected BF16 performance improvement, demonstrating that results aren't universal.
As for gaming, NVIDIA's DLSS technologies also utilize Tensor Cores, but there's currently no convincing evidence that GPU Unlock improves gaming performance or DLSS execution times. The affected instructions and accumulation modes need to be used by the actual workload for any benefit to materialize. Consequently, the impressive compute benchmarks shouldn't be mistaken for an equivalent increase in gaming FPS.
Nevertheless, GPU Unlock is an intriguing development for GeForce RTX 30 Series owners, particularly those using their GPUs for local AI inference, image generation, and other compute-intensive applications. While the project is still experimental, the prospect of extracting substantially more performance from existing hardware without permanently modifying it is certainly appealing.
News Source: GPU Unlock GitHub repo
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com