엔비디아 9년 된 테슬라 V100, 추론 성능 여전히 강력…NVLink 보드 4개 GPU, M5 울트라·DGX 스파크 대비 AI 벤치마크 최대 230% 우위
🇰🇷 한글 번역
2017년에 도입된 볼타(Volta) 아키텍처는 여전히 수많은 AI 관련 워크로드에서 경쟁력을 유지할 수 있으며, HBM2 메모리 32GB와 900GB/s 대역폭을 갖춘 테슬라 V100은 현대적인 솔루션을 처리하기에 충분하다. 물론 하드웨어가 제대로 장착되고 작동하도록 하기 위해 NVLink 캐리어 보드와 일부 히트싱크 수정이 필요했지만, 이러한 장벽을 넘어서자 성능 경쟁이 시작되었다. M5 울트라와 DGX 스파크를 상대로 네 개의 V100은 최대 167%의 성능 향상률을 제공할 수 있다.
테슬라 V100은 더 큰 크기와 추가 수정을 감수할 의사가 있다면 경쟁사와 손색없이 대등한 성능을 발휘할 수 있다.
NVLink 캐리어 보드가 없으면 네 개의 별도 V100 유닛을 수용하는 것은 불가능해 보였지만, 유튜버 준 야모그(Jun Yamog)는 300GB/s의 대역폭을 제공하고 총 6개의 NVLink 2.0을 통해 속도를 높일 수 있는 추가 하드웨어를 확보했다. 네 개의 테슬라 V100 GPU를 각각 장착하는 작업이 그리 고된 작업은 아니었지만, 적절히 냉각시키는 것은 어려웠을 것이다.
이것이 준이 NVIDIA의 A100 GPU 히트싱크를 밀링하여 V100이 들어갈 수 있도록 수정한 이유다. 하지만 이 과정이 완료되자 거대한 쿨러는 각 칩에서 발생하는 300W의 전력을 손쉽게 방출할 수 있었다. 몇 개의 패스스루 어댑터를 사용하여 유튜버는 캐리어 보드를 PCIe x8 연결을 통해 연결했다.
벤치마크로 돌아가서, 쿼드-V100 구성은 128GB의 LPDDR5X 통합 메모리를 탑재한 두 대의 DGX 스파크와 단일 M5 울트라와 대결을 펼쳤으며, 4비트 양자화가 적용된 실행했다. 긴 프롬프트의 프롬프트 처리에서 네 개의 V100은 DGX 스파크 클러스터보다 40% 빠르고 M5 울트라보다 230% 빠르지만, 준은 애플 실리콘과의 막대한 성능 격차가 소프트웨어 최적화의 부재 때문일 가능성이 높다고 지적했다.
짧은 프롬프트의 경우, 테슬라 V100 클러스터는 DGX 스파크에 대해 동일한 성능 차이를 보이며 M5 울트라보다 163% 빠르다. 짧은 프롬프트의 토큰 생성에서 V100은 100.6 tok/s로 두 대의 DGX 스파크 유닛보다 121% 빠르며, M5 울트라는 44.5 tok/s를 기록했다. 이는 다른 유튜버인 알렉스 지스킨드(Alex Ziskind)가 보고한 결과와 비교된다.
좋은 참고를 위해 알렉스의 8개 RTX PRO 6000 GPU도 벤치마크에 추가되었으므로, 이 비교에 관심이 있다면 위의 전체 영상을 확인할 수 있다. 이는 NVIDIA의 테슬라 V100이 대규모 언어 모델(LLM) 실행을 위해 재사용된 유일한 사례가 아니다. 다른 사용자는 자신의 GPU를 수정하여 동일한 케이스 내에서 RTX 4080과 함께 작동하도록 하여, 추가된 VRAM과 대역폭 덕분에 27B AI 모델을 적절한 성능으로 실행할 수 있게 했다.
만약 로컬 AI 시스템을 실행할 야망을 가지고 있고 서비스 비용을 매월 지불하고 싶지 않다면, NVIDIA의 V100 GPU 몇 개를 확보하는 것이 확실히 최선의 선택이다. 현재 이베이와 같은 곳에서도 32GB 버전 그래픽 카드를 744달러에 구매할 수 있다. 두 개를 구매하면 더 밀도 높은 AI 모델을 실행하는 범위를 넓힐 수 있다.
뉴스 출처: 준 야모그
Wccftech의 뉴스 커버리지를 피드에서 더 많이 보려면 Google에서 Wccftech를 팔로우하세요.
📄 원문 (English)
The Volta architecture, introduced in 2017, can still hold its own across a multitude of AI-related workloads, with the Tesla V100 and its 32GB of HBM2 memory and 900GB/s bandwidth sufficient to take on modern-day solutions. Of course, it took an NVLink carrier board and some heatsink modifications to ensure the hardware was mounted and working properly, but once that obstacle was cleared, it was off to the races. Against the M5 Ultra and DGX Spark, four V100s can deliver up to a 167 percent performance uplift.
In Qwen3.8-Flash-Next, the Tesla V100 can effortlessly hold its own against the competition, as long as you’re willing to accept the heftier size and additional modifications
Without an NVLink carrier board, it looked impossible to house four separate V100 units, but YouTuber Jun Yamog got his hands on the additional hardware that can deliver 300GB/s of bandwidth, with a total of six NVLink 2.0, resulting in the increased speeds. Even if mounting each of the four Tesla V100 GPUs wasn’t an arduous task, getting them to cool properly would have been.
This is why Jun modified NVIDIA’s A100 GPU heatsink by milling it down to accommodate the V100, but when the process was complete, the giant cooler could effortlessly dissipate 300W of power being generated from each chip. With a couple of passthrough adapters, the YouTuber connected the carrier board via a PCIe x8 connection.
Coming to the benchmarks, the quad-V100 configuration went up against two DGX Sparks with 128GB of LPDDR5X unified memory and a single M5 Ultra and fired up Qwen3.8-Flash-Next with a 4-bit quantization. In prompt processing for longer prompts, the four V100s are 40 percent faster than the DGX Spark cluster and 230 percent faster than the M5 Ultra, though Jun notes that the massive performance disparity with Apple Silicon is likely due to the lack of software optimizations.
For shorter prompts, the Tesla V100 cluster achieves the same performance difference against the DGX Spark, along with being 163 percent faster than the M5 Ultra. In token generation for shorter prompts, the V100s are 121 percent faster than the two DGX Spark units at 100.6 tok/s, while the M5 Ultra achieves 44.5 tok/s, compared with results reported by another YouTuber, Alex Ziskind.
For good measure, Alex’s eight RTX PRO 6000 GPUs were also added to the benchmarks, so if you have an interest in this comparison, you can check out the entire video above. This isn’t the only time that NVIDIA’s Tesla V100 was repurposed to be used for running LLMs. Another user modded his GPU to run alongside an RTX 4080 in the same chassis, enabling him to run 27B AI models at decent performance thanks to added VRAM and bandwidth.
If you, too, have ambitions of running a local AI system and don’t wish to pay a monthly fee for services, obtaining a couple of NVIDIA’s V100 GPUs is definitely your best bet. Even now, in places like eBay, you can pick up a 32GB version of the graphics card for $744. Pick up two, and you’ll broaden your horizons in running denser AI models.
News Source: Jun Yamog
Follow Wccftech on Google to get more of our news coverage in your feeds.
▶ 칩 라이브 24 홈으로 — chiplive24.com