엔비디아 RTX 3090 Ti, 리눅스 기반 잠금 해제 기법으로 FP16/BF16 연산 성능 약 80% 향상
🇰🇷 한글 번역
새로운 도구는 RTX 3090 Ti의 BF16 연산 성능을 87.5 TFLOPS에서 157 TFLOPS로 높이는 동시에 vLLM 추론 속도를 최대 36%까지 개선하는 것으로 알려졌다.
오픈소스 프로젝트 'GPU Unlock'이 지포스 GPU의 NVIDIA 소프트웨어 수준 제한을 우회하여 전문가용 연산 기능을 잠금 해제
소비자용 지포스 그래픽 카드에 대한 NVIDIA의 소프트웨어 수준 제한을 우회하는 새로운 트릭이 공개되었다. 이는 일반적으로 전문가용 워크스테이션 GPU에만 허용되는 더 높은 반정밀도 부동소수점 연산 성능에 GPU가 접근할 수 있게 해주는 'GPU Unlock'이라는 새로운 오픈소스 프로젝트를 통해 달성되었다.
프로젝트 개발자 'zagitta'에 따르면, NVIDIA는 전문가용 워크스테이션 카드와 동일한 GPU 아키텍처를 공유함에도 불구하고 소비자용 지포스 GPU에서 특정 연산 기능과 가상 GPU(vGPU) 기능을 제한하고 있다. NVIDIA는 이러한 기능을 더 비싼 쿼드라(Quadra), 테스타(Testa), RTX A시리즈 GPU로 제한해 왔다. 그러나 이 새로운 프로젝트는 기존 드라이버와는 다른 접근 방식을 취한다.
'GPU Unlock'은 리눅스 커널 내에서 NVIDIA 드라이버 모듈을 동적으로 패치하고, GPU의 물리적 PCIe 장치 ID에 대한 요청을 가로채며, 반환된 식별자를 호환되는 전문가용 GPU의 식별자로 대체한다. 이는 기본적으로 드라이버가 소비자용 지포스 GPU를 전문가용 NVIDIA 카드로 인식하도록 속여 제한을 우회하고 추가적인 연산 기능을 잠금 해제한다.
개발자의 주장에 따르면 성능 개선은 상당하다. 암페어(Ampere) GPU인 지포스 RTX 3090 Ti에서 BF16 연산 성능은 87.5 TFLOPS에서 무려 157 TFLOPS로 증가하여 놀라운 80%의 개선을 보였다. TF32 성능도 42.6 TFLOPS에서 82.6 TFLOPS로 거의 두 배가 되었다. 지포스 RTX 3080도 이로부터 혜택을 받아 FP16/BF16 성능이 65 TFLOPS에서 110~113 TFLOPS로 증가하는 반면, 기본 320W 전력 제한은 유지된다.
이러한 이점은 vLLM 추론 엔진에서도 확인되었으며, 이 도구는 긴 컨텍스트 프리필 처리 속도에 33~36%의 추가 성능을 제공하고 첫 번째 토큰까지의 시간(Time-To-First-Token) 지연을 25% 감소시켰다. 그러나 이 기법이 메모리 대역폭 제한을 다루지 않기 때문에 디코드 성능은 대부분 변하지 않았다.
다행히도 GPU Unlock은 현재 리눅스에서만 지원되며 지포스 GTX 900, GTX 1000, RTX 20 및 RTX 30 시리즈 GPU에서 작동하지만, RTX 40 및 RTX 50 카드는 지원되지 않는다.
더 많은 뉴스 커버리지를 피드에서 받아보려면 Wccftech를 구글에서 팔로우하라.
📄 원문 (English)
The new tool reportedly helps the RTX 3090 Ti's BF16 compute performance jump from 87.5 FLOPS to 157 TFLOPS while also improving the vLLM inference speeds by up to 36%.
Open-Source Project "GPU Unlock" Bypasses NVIDIA's Software-Level Restrictions on GeForce GPUs, Unlocking Professional-Grade Compute Capabilities
A new trick has been unlocked to bypass NVIDIA's software-level restrictions on consumer GeForce graphics cards. This has been achieved with a new open-source project called "GPU Unlock", which allows the GPUs to access higher half-precision floating-point compute performance, which typically is reserved for the professional workstation GPUs.
According to the project's developer, "zagitta", NVIDIA restricts certain compute capabilities and virtual GPU (vGPU) features on consumer GeForce GPUs, despite sharing the same GPU architecture as the professional workstation cards. NVIDIA restricts these capabilities to the more expensive Quadra, Testa and RTX A-series GPUs. However, this new project takes a different approach from traditional driver.
"GPU Unlock" dynamically patches the NVIDIA driver module within the Linux kernel and intercepts requests for the GPU's physical PCIe Device ID before replacing the returned identifier with that of a compatible professional GPU. This basically tricks the driver into recognizing a consumer GeForce GPU as a professional NVIDIA card, bypassing the restrictions and unlocking additional compute capabilities.
As per the developer's claims, the performance improvements are substantial. On the GeForce RTX 3090 Ti, an Ampere GPU, the BF16 compute performance increases from 87.5 TFLOPS to a whopping 157 TFLOPS, which is a staggering 80% improvement. The TF32 performance also nearly doubles, rising from 42.6 TFLOPS to 82.6 TFLOPS. The GeForce RTX 3080 reportedly also benefits from this, and its FP16/BF16 performance increases from 65 TFLOPS to 110-113 TFLOPS, while retaining its default 320W power limit.
The benefits were also seen in the vLLM inference engine, where the tool unlocks 33-36% additional performance in long-context Prefill processing speeds and a 25% reduction in Time-To-First-Token latency. However, Decode performance remained mostly unchanged because the technique doesn't address memory bandwidth limitations.
That said, the GPU Unlock currently supports Linux only and works with GeForce GTX 900, GTX 1000, RTX 20, and RTX 30 series GPUs, while the RTX 40 and RTX 50 cards aren't supported.
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com